更多>>关于我们
西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效获取互联网任何公开可见信息。
您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。
数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。
更多>>技术文章
-
西安鲲之鹏
发布时间:2017-02-18 16:24:05
PPPOE拨号引发“Couldn't allocate pseudo-tty”问题,表现:
1)SSH连接卡主(无法正常建立连接),提示:“request failed on channel 0”。
2)日志出现大量:“Couldn't allocate pseudo-tty”。
谷歌得知原因:pseudo-terminals数量超过系统最大限制。
临时处理方法:增加pseudo-terminals最大数量,具体步骤>>> http://t.cn/RJnUJxD
1. 如何查看系统当前pseudo-terminals数量:
ls /dev/pts|wc -l
参考文章:http://t.cn/RJnUJxk
2. 查看当前系统允许的最大pseudo-terminals数量:
cat /proc/sys/kernel/pty/max
-
西安鲲之鹏
发布时间:2017-02-16 12:34:53
【专治疑难杂症】Selenium + IEDriver出现“Internet Explorer has stopped working”或"Internet Explorer 已停止工作"对话框如何解决? >>> http://t.cn/RJjndCS
Turn Off The Error Dialog Via The Registry
Although editing the registry manually is not recommended for average users, sometimes there isn’t a choice because something like the Group policy Editor might not be available in your version of Windows or the group policy method itself doesn’t work. This works on Windows Vista and above.
Open the Registry Editor by typing regedit into the Start search box or the Win+R Run dialog.
Navigate to the following registry key:
HKEY_CURRENT_USER\Software\Microsoft\Windows\Windows Error Reporting
Double click the DontShowUI entry on the right and change its value to 1, then close the registry editor.
-
西安鲲之鹏
发布时间:2017-02-08 19:44:38
-
西安鲲之鹏
发布时间:2017-01-26 11:40:16
Google Maps Geocoding API使用限制: 2,500 free requests per day。
>>> http://t.cn/RxVL66t
使用稳定高匿名HTTP代理可以绕过该限制,例如200个IP就可以达到50万每天的查询速度。
-
西安鲲之鹏
发布时间:2017-01-20 20:55:19
完善Python版的pppoe-status,实测比原版可靠(修复rp-pppoe-3.12中的pppoe-status误判失败的问题) >>> http://t.cn/RMsiLHd
-
西安鲲之鹏
发布时间:2017-01-12 12:36:58
Ubuntu下7z压缩、解压文件:
sudo apt-get install p7zip-full
【压缩文件】:
7z a -t7z -r manager.7z /home/manager/*
解释:
a 代表添加文件/文件夹到压缩包;
-t 是指定压缩类型 一般我们定为7z;
-r 表示递归所有的子文件夹;
【解压文件】
7z x manager.7z -r -o/home/xx
解释如下:
x 代表解压缩文件,并且是按原始目录解压(还有个参数 e 也是解压缩文件,但其会将所有文件都解压到根下,而不是自己原有的文件夹下)manager.7z 是压缩文件,这里大家要换成自己的。如果不在当前目录下要带上完整的目录;
-r 表示递归所有的子文件夹;
-o 是指定解压到的目录,这里大家要注意-o后是没有空格的直接接目录; -
西安鲲之鹏
发布时间:2017-01-09 17:33:07
最近某机器上的Squid服务老是自动挂掉,日志也没看出问题...
只能先临时曲线救国:通过计划任务定时检测squid进程是否存在,如果不存在执行sudo service squid start来启动服务。检测脚本我是用Python写的(Shell不熟悉),分享在这里:http://t.cn/RMM2N8v
PS:我本来用supervisor实现的,结果老是提示squid进程异常退出,就放弃了。 -
西安鲲之鹏
发布时间:2016-12-27 17:04:09
curl如何访问使用TLS1.0网站(且不支持TLS重新协商修正)?
curl --tlsv1.0 "http://t.cn/RbsY6wb"
如果不加--tlsv1.0参数,会返回“curl: (35) Unknown SSL protocol error in connection to ”错误。
PS:前面发过类似的内容,主要说明如何在Python中访问使用TLS1.0的网站。
[链接] http://t.cn/RUE5b39
-
西安鲲之鹏
发布时间:2016-12-25 17:25:05
【省钱技巧】vultr.com上部署Windows示例每月需要多付16刀。测试发现使用Cusom ISO方式,安装自己上传的Windows ISO镜像就可以省掉这个16刀。
附网友共享的“集成VirtIO驱动Windows 8.1, 8, 7, XP, Server 2012, 2008, 2003的ISO镜像”: http://t.cn/RIj5Exh