更多>>关于我们
西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效获取互联网任何公开可见信息。
您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。
数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。
更多>>技术文章
-
西安鲲之鹏
发布时间:2017-11-23 13:13:06
-
西安鲲之鹏
发布时间:2017-11-03 15:24:37
【经验分享】“selenium + phantomjs”如何正确退出phantomjs进程?
背景:程序用使用diver.quit()或driver.close()方法退出phantomjs进程偶尔会失败,出现“OSError: Bad file descriptor”异常。经测如下方法可以有效解决问题:
import signal
driver.service.process.send_signal(signal.SIGTERM) # kill the specific phantomjs child proc
driver.quit()
感谢Stackoverflow上的无私分享者 >>> http://t.cn/RlbPiCb http://t.cn/RlbPiCU
PS:如何在selinum里获取phantomjs进程的ID: driver.service.process.pid
参见 >>> http://t.cn/RlbPiC4 -
西安鲲之鹏
发布时间:2017-09-28 21:48:39
【新品发布】正规IDC机房17万IP代理招租,按流量计费,无带宽和并发限制! 遍布世界57个国家,700台专业服务器,每台1C的IP,共计17万IP。支持按国家筛选!默认自动负载均衡!
点击查看详情 >>> http://t.cn/R0WMsU2
国家和IP数量如下表:
Country IP Count
Turkey 256
Canada 512
Madagascar 2560
Italy 512
Czech Republic 256
Iran (Islamic Republic of) 256
Hungary 512
Qatar 256
Luxembourg 256
France 256
Slovakia 256
Ireland 768
Hong Kong 256
Nigeria 768
Bolivia 2816
Norway 512
Bangladesh 256
Israel 512
Australia 256
Indonesia 256
Jordan 256
Germany 18688
Nicaragua 2560
Belgium 512
China 512
Iraq 256
Philippines 256
Taiwan 256
Spain 512
Ukraine 256
Netherlands 512
Denmark 512
Poland 256
Finland 768
Saudi Arabia 256
United States 83712
Sweden 768
Vietnam 256
Kenya 256
Switzerland 768
New Zealand 256
Russia 768
Brazil 512
Bulgaria 256
Romania 512
Portugal 512
Mexico 256
United Arab Emirates 256
India 50688
United Kingdom 6144
Malaysia 256
Austria 768
Congo 2560
Greece 512
Japan 512
South Korea 256
Cyprus 256
-
西安鲲之鹏
发布时间:2017-09-27 09:56:59
淘宝外卖(口碑外卖)全国所有城市商户数据2017年9月底更新(62.8万家)。2017年9月底更新。含店招、营业执照和餐饮服务许可证图片文件。 >>> http://t.cn/R0oybU9
-
西安鲲之鹏
发布时间:2017-09-22 11:34:07
-
西安鲲之鹏
发布时间:2017-09-20 17:23:31
【经验分享】Chrome V55以后不支持设置页面编码了(不信你试试看)。不过,这货(Set Character Encoding插件)可以帮你实现。 http://t.cn/RaIDInW
-
西安鲲之鹏
发布时间:2017-09-14 15:10:39
【经验分享】由于项目需要在Linux Server下将近千万个word文档(*.doc)转换为文本格式(html或txt),经测试效果最好的方法是使用LibreOffice的命令行工具。
安装:
sudo apt-get purge libreoffice-core
sudo add-apt-repository -y ppa:libreoffice/ppa
sudo apt-get update
sudo apt-get install libreoffice
doc转txt示例:
soffice --headless --convert-to txt test.doc
doc转html示例:
soffice --headless --convert-to html test.doc
关于convert-to参数的更多说明见这里 >>> http://t.cn/RVGwrbi
-
西安鲲之鹏
发布时间:2017-08-17 09:55:51
搜房网(房天下)全国新房楼盘+二手房小区数据2017年07月份更新(“小区名称”,”城市”,”小区地址”,”项目特色”,”所属区域”,”邮编”,”产权描述”,”物业类别”,”竣工时间”,”开发商”,”建筑结构”,”建筑类别”,”建筑面积”,”占地面积”,”当期户数”,”总户数”,”绿化率”,”容积率”,”物业费”,”停车位”,”开盘时间”,”交房时间”,”小区简介”,”交通状况”,”周边信息”,”经度”,”纬度”,”物业公司”,”价格”,”页面链接”,”地图链接”,”区县”,”商 圈”,”装修情况”,”物业地址”,”入住时间”,”物业类型”,”环比上月”,”详情页链接”,”新房/二手房”,”newcode”) >>> 示例数据:http://t.cn/RCZcOAe