更多>>关于我们

西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效绕过各种反采集策略。

您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。

数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。

更多>>官方微博

西安鲲之鹏
陕西 西安

加关注

  • 【经验分享】代理服务器出现大量TIME_WAIT怎么破?爬虫客户端用什么库更高效?在本文我们将通过实验给你解答 “与TIME_WAIT相关的一些实验” >>>  http://www.site-digger.com/html/articles/20181109/683.html ​​​​
    发布时间:2018-11-09 16:58:07
  • 【备忘】mitmproxy v0.18.2版本Python script示例  
    归纳了一下公司近期常用的mitmproxy Python script编写示例,通过本示例你将学会在mitmproxy中如何通过外挂Python脚本修改请求和应答数据, >>> http://www.site-digger.com/html/articles/20181109/682.html ​​​​
    发布时间:2018-11-09 16:56:27
  • 【经验分享】自己gcc编译出来的squid可执行程序体积比官方rpm包里的体积大9倍(官方的6MB,自己编译出来的59MB)!使用strip --strip-unneeded file-path 处理之后,体积也变成6MB了!(running strip is a good way to get the size down after you have a binary and the binary is in ELF format. strip just removes debug and unreferenced symbols after the binary has been created.) >>> 参考:http://www.cplusplus.com/forum/unices/123451/
    发布时间:2018-11-07 14:02:55
  • 【干货干货】整整花了2天时间搞的。 iptables DNAT Web流量截取实验 >>> http://www.site-digger.com/html/articles/20181105/681.html ​​​​
    发布时间:2018-11-05 13:09:48
  • 【经验分享-纯干货】SNI导致Python 2.7建立TLS连接出现104错误问题的解决 >>> http://www.site-digger.com/html/articles/20181026/680.html ​​​​
    发布时间:2018-10-26 18:05:14
  • 【经验分享】使用openssl模拟与HTTPS网站的交互 >>> http://www.site-digger.com/html/articles/20181026/679.html ​​​​
    发布时间:2018-10-26 18:01:45
  • 美团外卖北京/上海/广州/杭州/成都五城市商户数据2018年10月份采集更新

    详细字段说明:
    “province” – 省份
    “city” – 城市
    “shop_name” – 店铺名称
    “address” – 店铺地址
    “category” – 大分类
    “third_category” – 小分类
    “phones” – 电话号码
    “score” – 店铺评分
    “min_price” – 起送价
    “month_sales” – 月售
    “shipping_fee” – 配送费
    “per_cost” – 人均消费
    “delivery_time” – 配送时间
    “delivery_tip” – 配送服务信息
    “pic_url” – 店铺图片
    “qualification” – 营业执照
    “shiping_time” – 营业时间
    “lat” – 纬度
    “lng” – 经度
    “comment_num” – 评论数

    >>> http://www.data-shop.net/2018/10/%E7%BE%8E%E5%9B%A2%E5%A4%96%E5%8D%96%E5%8C%97%E4%BA%AC%E4%B8%8A%E6%B5%B7%E5%B9%BF%E5%B7%9E%E6%9D%AD%E5%B7%9E%E6%88%90%E9%83%BD%E4%BA%94%E5%9F%8E%E5%B8%82%E5%95%86%E6%88%B7%E6%95%B0%E6%8D%AE2018/
    发布时间:2018-10-25 17:47:47
  • Selenium+Chrome淘宝正常登录方案演示:
    1. 不做特殊处理情况下,Selenium无法正常登录淘宝,会出验无法完成的验证码;
    2. 经过特殊处理后,成功突破淘宝对Selenium的检测,完美登录成功(连验证码都不会出现)。
    点击链接查看演示视频: >>> http://t.cn/EzdwqSY ​​​​
    发布时间:2018-10-22 16:55:09
  • 【经验分享】如何根据淘宝/天猫的分类ID(categoryId值)获取对应的分类名称?

    (1) 如图1所示,先从商品源码获取"categoryId"参数值,例如1512;
    (2)如图2所示,查表可知对应分类名称为"手机";

    点击这里购买该分类映射表(2018年10月份采集更新):
    http://t.cn/EzwnBs1 ​​​​
    发布时间:2018-10-17 11:46:05
  • FontEditor Online 赞! >>> http://t.cn/RKDTzTV ​​​​
    发布时间:2018-10-11 14:14:20
当前位置: 首页 > 技术文章 >
"Selenium + Firefox"如何使用带用户名密码认证的HTTP代理
发布时间:2018-08-22 来源:未知 浏览:

熟悉Firefox的同学都知道,Firefox在配置HTTP代理时无法设置用户名和密码。而收费的HTTP代理大多都是需要进行用户名和密码认证的(有的也支持IP白名单,但前提是你的IP需要固定不变)。这就使得使用Selenium + Firefox进行自动化操作非常不方便,因为每次启动一个新的浏览器实例就会弹出一个授权验证窗口,被要求输入用户名和密码(如下图所示),打断了自动化操作流程。

另外,Firefox也没有提供设置用户名密码的命令行参数(PS:phantomjs就有--proxy-auth这样的参数)。难道真的没有解决方法了?

鲲之鹏的技术人员通过研究终于找到了一个有效并且稳定的解决方案:

先介绍一个重要的角色,它的主页是https://addons.mozilla.org/en-US/firefox/addon/close-proxy-authentication/。close-proxy-authentication实现了自动完成代理用户名密码认证(Proxy Authentication)的功能,它提供了一个extensions.closeproxyauth.authtoken参数用来设置代理的用户名和密码,其值为经过base64编码后的用户名密码对(如下图所示)。close-proxy-authentication会使用该值构造出"Proxy-Authorization: Basic dGVzdDp0ZXN0"头发给代理服务器,以通过认证,这就是它的工作原理。

我们就是要借助这个插件在Selenium + Firefox时自动完成HTTP代理认证,流程是这样的:

(1)通过Firefox配置选项动态添加close-proxy-authentication这个插件(默认不加载任何插件);

(2)通过配置选项设置HTTP代理的IP和端口参数;

(3)设置extensions.closeproxyauth.authtoken的值为base64encode("用户名:密码");

(4)后续访问网站的时候close-proxy-authentication插件将自动完成代理的授权验证过程,不会再弹出认证窗口;

 

下面是完整的测试代码:

# coding: utf-8
# selenium_firefox_proxy_auto_auth.py

import sys
import time
from base64 import b64encode
from selenium import webdriver


# close-proxy-authentication插件的路径
# https://addons.mozilla.org/en-US/firefox/addon/close-proxy-authentication/
PROXY_HELPER_DIR = 'close_proxy_authentication-1.1.xpi'

def test():
    # HTTP(S)类型代理参数
    proxy_host = '221.229.204.91'
    proxy_port = 8888
    proxy_username = '******'
    proxy_password = '******'
    
    fp = webdriver.FirefoxProfile()
    # 添加代理认证插件
    fp.add_extension(PROXY_HELPER_DIR)
    # 设置代理参数
    fp.set_preference('network.proxy.type', 1)
    fp.set_preference('network.proxy.http', proxy_host)
    fp.set_preference('network.proxy.http_port', proxy_port)
    fp.set_preference('network.proxy.ssl', proxy_host)
    fp.set_preference('network.proxy.ssl_port', proxy_port)
    # 给close-proxy-authentication插件设置authtoken(即代理认证的用户名和密码)
    credentials = '{}:{}'.format(proxy_username, proxy_password)
    credentials = b64encode(credentials)
    fp.set_preference('extensions.closeproxyauth.authtoken', credentials)                

    firefox = webdriver.Firefox(firefox_profile=fp)
    # 访问http://httpbin.org/ip回显当前IP
    firefox.get('http://httpbin.org/ip')
    time.sleep(1000)
    
if __name__ == '__main__':
    test()

测试环境:

Firefox V53.0
geckodriver v0.18.0
selenium V3.8.0
close-proxy-authentication V1.1

上述环境涉及文件打包下载地址:http://pan.webscraping.cn:8000/index.php/s/PMDjc77gbCFJzpO

需要特别注意的是:

(1)close-proxy-authentication的最新版本目前是V1.1,它并不兼容最新版的Firefox,鲲之鹏的技术人员测试发现Firefox V56.0以下版本能够兼容close-proxy-authentication V1.1。

(2)不同geckodriver(Firefox的webdriver程序)版本,支持的Firefox版本也不相同,具体支持哪些版本,在geckodriver的releases页面上有说明。

 

测试结果如下图所示。没有再弹出认证窗口,访问httpbin.org/ip直接回显了HTTP代理的IP:

特别说明:该文章为鲲鹏数据原创文章 ,您除了可以发表评论外,还可以转载到别的网站,但是请保留源地址,谢谢!!(尊重他人劳动,我们共同努力)
☹ Disqus被Qiang了,之前的评论内容都没了。如果您有爬虫相关技术方面的问题,欢迎发到我们的问答平台:http://spider.site-digger.com/
QQ在线客服
欢迎咨询,点击这里给我发送消息。
欢迎咨询,点击这里给我发送消息。