更多>>关于我们
西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效获取互联网任何公开可见信息。
您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。
数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。
更多>>技术文章
-
西安鲲之鹏
发布时间:2021-06-24 13:17:22
【演示】得物APP商品"最近购买列表"采集演示
(1)根据商品的spuid从APP端采集。
(2)得物的“最近购买”列表展示了最近3个月的销售记录,可以借以分析商品的价格和销量波动情况。包括字段“昵称、日期、规格、价格”,采集好的示例数据见:http://db.site-digger.com/csv/646577755f6170705f70726f647563745f6c6173745f736f6c645f6c6973745f73616d706c65/ 点击查看西安鲲之鹏的微博视频 -
西安鲲之鹏
发布时间:2021-06-18 14:30:34
【演示】某小红书APP笔记详情及评论数据采集最新(20210618)演示
近日某小红书的网页版不再展示笔记的“点赞数、评论数、收藏数和分享数”了,为了能拿到这些信息只能从APP端入手。本采集方案可以拿到笔记的所有属性值以及前10条评论数据。
(1)笔记详情包含的字段
'note_id'(笔记ID), 'note_type'(笔记类型,是普通的还是视频), 'user_red_id'(用户ID), 'user_name'(用户名), 'liked_count'(点赞数), 'shared_count'(分享数), 'collected_count'(收藏数), 'comments_count'(评论数), 'pubtime'(笔记发布时间), 'hash_tags'(标签), 'images_list'(原图列表), 'video'(视频链接,如果是视频笔记), 'desc'(笔记内容)
示例数据链接:点击查看"小红书笔记示例数据"
(2)笔记评论包含的字段
'comment_id'(评论), 'note_id'(关联的笔记ID), 'user_name'(用户名), 'pubtime'(评论发布时间), 'like_count'(评论点赞数), 'score'(评分), 'content'(评论内容), 'sub_comment_count'(评论回复数), 'sub_comments'(评论回复内容)
示例数据链接:点击查看小红书评论示例数据
-
西安鲲之鹏
发布时间:2021-06-08 12:10:34
【经验分享】某特来电APP采集方案
我们分析的是V5.11.0版本,加了360的壳,用了ssl证书固定。
(1)经过ssl unpinning之后,Fiddler成功抓到包,如图1-3所示,分别对应“充电站搜索返回的列表”,“充电站详情”和“充电站的终端列表”。可以看到请求头中有很多陌生的参数,例如AVER,它是怎么构造出来的?
(2)脱壳,反编译找到了实现过程代码,如图4所示。可以看出AVER是通过对时间戳参数ATS,经过"DES/CBC/PKCS7Padding"加密而成。其它参数在代码中也都能找到实现过程。其中"X-Token"的产生过程比较复杂,后面再分享产生过程。
-
西安鲲之鹏
发布时间:2021-06-04 10:57:34
【经验分享】com.google.gson.Gson的toJson()方法在插桩分析的时候太有用了,赞赞赞。
function toJson(javaObject) {
return Java.use("com.google.gson.Gson").$new().toJson(javaObject);
};
通过toJson(javaObject)可以将Java对象(数据结构)转换成JSON格式,非常方便。想想之前都是通过字符串拼接各个字段(熟悉)值,太费劲儿了。
关于com.google.gson.Gson的toJson()的更多示例可以看这篇文章:https://www.cnblogs.com/reboost/p/9521603.html
-
西安鲲之鹏
发布时间:2021-06-03 14:41:55
【经验分享】某美丽修行APP反采集策略分析
采用的反采集策略:
(1)加了360的壳。
(2)ssl证书固定。
(3)部分接口返回的数据有加密,例如附图1所示。
(4)商品搜索部分需要登录(不登录实际可以拿到前10条数据)。
解决方案:
(1)通过frida脚本绕过证书固定,成功拦截到交互过程,如附图1所示,为某个请求的应答。
(2)经过dump内存dex文件,jadx反编译,找到了“entityInfo”加密串的解密过程,如图2所示。顺藤摸瓜,找到AES解密的key和iv在so文件里,如图3所示。
(3)用ida pro静态分析so文件,成功找到了key和iv,如图4所示。
(4)用获取到的key和iv尝试解密“entityInfo”,成功,如图5所示。
"商品详情"对应JSON数据如附图6所示,"全成分表"对应JSON数据如附图7-9所示。
-
西安鲲之鹏
发布时间:2021-05-28 11:25:15
【经验分享】一例网站反爬机制分析
某网站,网址:http://t.cn/Rm6yxny(microchip官网)。浏览器访问正常,用Python urllib2和curl命令获取超时,修改成浏览器相同UA也同样结果。
根据经验,网站是根据“是否使用了长连接”来识别爬虫的。现代浏览器默认都会使用长连接(Connection: keep-alive)来提高多个请求的效率,而urllib2默认不使用长连接,每次请求完毕都会关闭tcp连接,urllib2发出的HTTP请求Connection值都为close(urllib2源码里写死了,如附图所示)。
解决方法:使用支持长连接的HTTP库即可,例如requests库或者urllib3库。
另外,我在stackoverflow上看到了能让urllib2支持keep-alive的方法,连接在这里https://stackoverflow.com/questions/1037406/python-urllib2-with-keep-alive,没有测试过。
-
西安鲲之鹏
发布时间:2021-04-08 10:37:42
【经验分享】某http proxy server远程连接老被reset,如图所示,curl连接总是返回“ Connection reset by peer”,偶尔也能成功一下。nc连接,能连上,但连上后马上断开。
在服务器上本地测试就没问题。刚开始怀疑是机房防火墙搞的怪,联系IDC无果。
proxy server用的是delegate,看命令行参数,偶然发现有个"MAXIMA=conpch:30"参数,突然意识到了问题,应该是并发数设置太小了。改成200,重启delegate,问题解决。
附“MAXIMA conpch”参数说明文档:
http://t.cn/A6c5ngHp
conpch --- max. number of connections at a time per client host [unlimited]
-
西安鲲之鹏
发布时间:2021-03-26 12:23:58
【经验分享】使用httping来测试http/socks5 proxy的稳定性
httping是一款http连通性测试工具,通过跟踪持续http请求的结果,来评估目标平台的稳定性。它支持http/https以及socks5代理,因此我们可以借以测试http/https/socks5代理的稳定性。
示例1:
测试http代理的稳定性,命令如下:
httping --proxy 代理IP:代理端口 --proxy-user 代理用户名 --proxy-password 代理密码 -Y 目标网址
效果如图1和图2所示。通过对比可以明细看出图2的代理要比图1的速度快很多,而且稳定性更好。
示例2:
测试socks5代理的稳定性,命令如下:
httping -5 --proxy 代理IP:代理端口 --proxy-user 代理用户名 --proxy-password 代理密码 -Y 目标网址
PS:与设置http代理相比,设置socks5代理只多了一个"-5"参数。
效果如图3所示。
httpping项目主页:http://t.cn/RqDnaQc,上面还有编译好的win64版本。
-
西安鲲之鹏
发布时间:2021-03-18 13:26:50
【经验分享】mysql修改数据存储目录datadir之后,无法正常启动。syslog显示错误信息如下:
apparmor="DENIED" operation="open" profile="/usr/sbin/mysqld" name="/data/sdi/mysql_data/mysql/ibdata1"
有很多类似行,见图1,跟文件权限有关。
apparmor 是一款Linux下的应用程序权限控制软件,这里是它禁止了mysqld进程对新的数据库目录的访问。
解决方案:
(1)编辑apparmor的mysql进程权限配置文件etc/apparmor.d/usr.sbin.mysqld,加入对新的数据库目录的访问授权。
(2)重启apparmor服务,sudo service apparmor restart,这一步很重要,光修改上述配置文件不行,重启才能生效。
(3)重启mysql服务。
-
西安鲲之鹏
发布时间:2021-03-16 12:53:34
【吐槽+分享】商超类店铺商品真够多啊,一个华润万家店铺商品数超过了7000件。
分享:
美团外卖华润万家(益田店),店铺APP ID:6043548,地址:深圳市福田区福民路北面皇达东方雅苑裙楼。全量商品数据(约7000条),采集时间:2021-03-16
数据下载链接:http://t.cn/A6tuEDLa
字段说明:
'id' - 商品ID;
'category' - 所属分类(商家自定义分类);
'name' - 商品名称;
'min_price' - 商品价格;
'origin_price' - 商品原价;
'member_price' - 会员价;
'unit' - 单位;
'min_order_count' - 最少起售量;
'spec' - 规格;
'real_stock' - 库存;
'month_saled_content' - 月销量;
'praise_content' - 点赞数;
'activity_tag' - 所属活动;
'promotion_info' - 促销信息;
'picture' - 商品图片;
-
西安鲲之鹏
发布时间:2021-03-11 11:26:02
【经验分享】python lxml xpath 如何获取元素的原始xml(html)?
考虑场景:xpath遍历到某个element后,想用正则regex提取这个元素原始html的部分信息,那么如何获取元素的原始html呢?
使用etree.tostring(element, encoding='unicode')即可,注意这里的encoding参数:
encoding is the output encoding (default is US-ASCII). Use encoding="unicode" to generate a Unicode string (otherwise, a bytestring is generated).
参考:
https://stackoverflow.com/questions/14896302/get-the-inner-html-of-a-element-in-lxml
http://t.cn/A6tQLsHg -
西安鲲之鹏
发布时间:2021-03-09 15:34:03
【经验分享】Python中如何将被转义过的字符串还原?使用.decode('string-escape')
例如:
escaped_str = '{\"payload\":{\"0\":{\"k1\":\"v1\", \"k2\":\"v2\", \"k3\":\"v3\"}, \"1\":{\"k4\":\"v5\", \"k6\":\"v4\", \"k5\":\"v6\"}}}'
经过escaped_str.decode('string_escape')之后,还原成:
'{"payload":{"0":{"k1":"v1", "k2":"v2", "k3":"v3"}, "1":{"k4":"v5", "k6":"v4", "k5":"v6"}}}'
再例如:
escaped_str = '\\xe9\\xb2\\xb2\\xe9\\xb9\\x8f\\xe6\\x95\\xb0\\xe6\\x8d\\xae'
经过escaped_str.decode('string_escape')之后,还原成:
'鲲鹏数据' -
西安鲲之鹏
发布时间:2021-03-03 12:57:33
【视频演示】外卖商品数据采集演示
输出数据示例:
1. 小六汤包(矿山路店)http://db.site-digger.com/csv/7761696d61695f313036343738333734363734383338335f32303231303232365f70726f6475637473/
2. 外婆印象(矿山路店) http://db.site-digger.com/csv/7761696d61695f3937373739373737343130373933375f32303231303232365f70726f6475637473/
3. 人人乐(洪庆店)http://db.site-digger.com/csv/7761696d61695f3933303332353530303539313135345f32303231303232365f70726f6475637473/
4.屈臣氏(长宁龙之梦店) http://db.site-digger.com/csv/7761696d61695f313038393739333334313239353737365f32303231303232365f70726f6475637473/
5. 蓝岛鲜花店 http://db.site-digger.com/csv/7761696d61695f313039353134303537353539343634325f32303231303232365f70726f6475637473/
6.菜大全(海蓝城店) http://db.site-digger.com/csv/7761696d61695f3939353936313139303739383333375f32303231303232365f70726f6475637473/
7. 7FRESH七鲜(西安万和城店) http://db.site-digger.com/csv/7761696d61695f3934373639303035333335363834385f32303231303232365f70726f6475637473/ -
西安鲲之鹏
发布时间:2021-01-27 13:25:42
【分享】大众点评各城市POI数据量统计结果列表
数据来源:大众点评APP,各城市全分类商户列表;
更新时间:2020年1月;
数据总量:共计2459个“城市”,其中一级城市370个,含港澳台。
大众点评全国全分类在营业POI数据量有多少?
根据370个一级城市统计结果加总显示有3922万条。
数据下载地址:
http://t.cn/A65VyV16