更多>>关于我们
西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效获取互联网任何公开可见信息。
您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。
数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。
更多>>技术文章
-
西安鲲之鹏
发布时间:2016-11-16 10:23:29
【如何避免使用MySQL缓存?】SELECT的时候加入SQL_NO_CACHE选项即可,例如: SELECT SQL_NO_CACHE id, name FROM customer;
[1]The MySQL Query Cache:http://t.cn/RftBuFm
[2]Query Cache SELECT Options: http://t.cn/RftBuFu -
西安鲲之鹏
发布时间:2016-11-13 19:10:15
【实测】JuiceSSH是安卓平台上远程SSH管理的一个超赞的工具!秒杀我之前试过的ConnectBot。是运维人员居家旅行不可或缺的神器!!!
PS:本来还考虑买个Win10平板,出门的时候可以用SecureCRT管理服务器,现在完全没必要了。
附下载地址:http://t.cn/RfbEoeK
-
西安鲲之鹏
发布时间:2016-11-11 08:10:51
【数据超市】安居客(anjuke.com)全国数据(新房楼盘+二手房小区)2016年11月份数据更新 >>> http://t.cn/RfLDYzj
二手房小区:
“城市”,”小区名”,”本月均价”,”价格变动”,”所在版块”,”地址”,”总户数”,”建造年代”,”物业类型”,”物业费用”,”开发商”,”总建面”,”容积率”,”出租率”,”停车位”,”绿化率”,”经度”,”纬度”,”简介”,”URL”
新房楼盘:
“城市”,”楼盘名称”,”楼盘单价”,”特色”,”区域位置”,”楼盘地址”,”规划总数”,”工程进度”,”开盘时间”,”交房时间”,”经度”,”纬度”,”URL”
-
西安鲲之鹏
发布时间:2016-11-03 21:15:13
-
西安鲲之鹏
发布时间:2016-10-31 11:31:30
一不注意将Chrome升级到了最新版本(V54),但是Webdriver不干活儿了“Runtime.executionContextCreated has invalid 'context': ...”。
升级Chromedriver到2.25版本(Supports Chrome v53-55),问题解决。
ChromeDriver 2.25 >>> http://t.cn/RV3EOyf
-
西安鲲之鹏
发布时间:2016-10-26 15:53:50
【adb小试牛刀】第一次使用adb,做个笔记:
1. 手机启用调试模式,USB连接PC。
2. 执行adb devices查看已连接设备。注意手机出现的授权提示,点确定!否则设备会显示为"Unauthorized"。
3. 执行adb shell即可进入设备的shell模式。
4. 执行su,切换到root权限。前提是你的手机已经root过了(可以使用刷机精灵的一键root功能)。
5. 开启App全局调试,即使ro.debuggable内存值为1。使用mprop程序实现,网上有详细的介绍。./mprop ro.debuggable 1。使用getprop ro.debuggable判断修改是否成功。
6. 执行stop;start重启adbd进程,更新连接信息。
7. 退出shell。执行adb jdwp即可看到可以调试的进程ID。所有进程都变得可以调试了。也可 以使用Android Device Monitor查看对应的进程名称和ID。LogCat显示出App输出的调试日志。
参考文章:
[1]http://t.cn/8kihwA1
[2]http://t.cn/RVTcBUH
附adb和mprop百度网盘分享链接:http://t.cn/RVTcBUQ
-
西安鲲之鹏
发布时间:2016-10-25 09:21:38
【技巧】如何下载到某Apk的历史版本(你懂的)?
1)在http://t.cn/zWO96yA上搜索该APP。2)进入APK详情页,点击版本标签后面的“更多版本 »”即可看到网站收录的所有历史版本,选择需要的版本下载即可。
-
西安鲲之鹏
发布时间:2016-10-19 14:00:03
有几万个网页需要转成Word文档,试了Pandoc HTML格式转WORD(docx),效果很赞!
"C:\Program Files (x86)\Pandoc\pandoc.exe" -o ouput.docx input.html
附Pandoc下载地址(pandoc-1.17.2-windows.msi):http://t.cn/RVSR7Ne(百度网盘分享)
-
西安鲲之鹏
发布时间:2016-10-17 14:51:31
-
西安鲲之鹏
发布时间:2016-10-14 08:39:53