更多>>关于我们

西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效获取互联网任何公开可见信息。

您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。

数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。

更多>>官方微博

西安鲲之鹏
陕西 西安

加关注

  • 【演示】某小红书APP笔记详情及评论数据采集最新(20210618)演示
    近日某小红书的网页版不再展示笔记的“点赞数、评论数、收藏数和分享数”了,为了能拿到这些信息只能从APP端入手。本采集方案可以拿到笔记的所有属性值以及前10条评论数据。

    (1)笔记详情包含的字段
    'note_id'(笔记ID), 'note_type'(笔记类型,是普通的还是视频), 'user_red_id'(用户ID), 'user_name'(用户名), 'liked_count'(点赞数), 'shared_count'(分享数), 'collected_count'(收藏数), 'comments_count'(评论数), 'pubtime'(笔记发布时间), 'hash_tags'(标签), 'images_list'(原图列表), 'video'(视频链接,如果是视频笔记), 'desc'(笔记内容)
    示例数据链接:点击查看"小红书笔记示例数据"

    (2)笔记评论包含的字段
    'comment_id'(评论), 'note_id'(关联的笔记ID), 'user_name'(用户名), 'pubtime'(评论发布时间), 'like_count'(评论点赞数), 'score'(评分), 'content'(评论内容), 'sub_comment_count'(评论回复数), 'sub_comments'(评论回复内容)
    示例数据链接:点击查看小红书评论示例数据

    某小红书APP笔记详情及评论数据采集最新(20210618)演示

    发布时间:2021-06-18 14:30:34
  • 【经验分享】某特来电APP采集方案
    我们分析的是V5.11.0版本,加了360的壳,用了ssl证书固定。
    (1)经过ssl unpinning之后,Fiddler成功抓到包,如图1-3所示,分别对应“充电站搜索返回的列表”,“充电站详情”和“充电站的终端列表”。可以看到请求头中有很多陌生的参数,例如AVER,它是怎么构造出来的?
    (2)脱壳,反编译找到了实现过程代码,如图4所示。可以看出AVER是通过对时间戳参数ATS,经过"DES/CBC/PKCS7Padding"加密而成。其它参数在代码中也都能找到实现过程。其中"X-Token"的产生过程比较复杂,后面再分享产生过程。
    发布时间:2021-06-08 12:10:34
  • 【经验分享】com.google.gson.Gson的toJson()方法在插桩分析的时候太有用了,赞赞赞。
    function toJson(javaObject) {
        return Java.use("com.google.gson.Gson").$new().toJson(javaObject);
    };
    通过toJson(javaObject)可以将Java对象(数据结构)转换成JSON格式,非常方便。想想之前都是通过字符串拼接各个字段(熟悉)值,太费劲儿了。

    关于com.google.gson.Gson的toJson()的更多示例可以看这篇文章:https://www.cnblogs.com/reboost/p/9521603.html
    发布时间:2021-06-04 10:57:34
  • 【经验分享】某美丽修行APP反采集策略分析
    采用的反采集策略:
    (1)加了360的壳。
    (2)ssl证书固定。
    (3)部分接口返回的数据有加密,例如附图1所示。
    (4)商品搜索部分需要登录(不登录实际可以拿到前10条数据)。

    解决方案:
    (1)通过frida脚本绕过证书固定,成功拦截到交互过程,如附图1所示,为某个请求的应答。
    (2)经过dump内存dex文件,jadx反编译,找到了“entityInfo”加密串的解密过程,如图2所示。顺藤摸瓜,找到AES解密的key和iv在so文件里,如图3所示。
    (3)用ida pro静态分析so文件,成功找到了key和iv,如图4所示。
    (4)用获取到的key和iv尝试解密“entityInfo”,成功,如图5所示。

    "商品详情"对应JSON数据如附图6所示,"全成分表"对应JSON数据如附图7-9所示。
    发布时间:2021-06-03 14:41:55
  • 【经验分享】一例网站反爬机制分析
    某网站,网址:http://t.cn/Rm6yxny(microchip官网)。浏览器访问正常,用Python urllib2和curl命令获取超时,修改成浏览器相同UA也同样结果。

    根据经验,网站是根据“是否使用了长连接”来识别爬虫的。现代浏览器默认都会使用长连接(Connection: keep-alive)来提高多个请求的效率,而urllib2默认不使用长连接,每次请求完毕都会关闭tcp连接,urllib2发出的HTTP请求Connection值都为close(urllib2源码里写死了,如附图所示)。

    解决方法:使用支持长连接的HTTP库即可,例如requests库或者urllib3库。

    另外,我在stackoverflow上看到了能让urllib2支持keep-alive的方法,连接在这里https://stackoverflow.com/questions/1037406/python-urllib2-with-keep-alive,没有测试过。
    发布时间:2021-05-28 11:25:15
  • 【经验分享】如何在命令行下执行单个SQL语句?
    例如 定期清理django_session表
    示例: mysql -u root -p 123456 somedb -e "delete from django_session" ​​​​
    发布时间:2021-05-27 17:05:36
  • 【经验分享】某http proxy server远程连接老被reset,如图所示,curl连接总是返回“ Connection reset by peer”,偶尔也能成功一下。nc连接,能连上,但连上后马上断开。
    在服务器上本地测试就没问题。刚开始怀疑是机房防火墙搞的怪,联系IDC无果。

    proxy server用的是delegate,看命令行参数,偶然发现有个"MAXIMA=conpch:30"参数,突然意识到了问题,应该是并发数设置太小了。改成200,重启delegate,问题解决。

    附“MAXIMA conpch”参数说明文档:
    http://t.cn/A6c5ngHp
    conpch  --- max. number of connections at a time per client host [unlimited]
    发布时间:2021-04-08 10:37:42
  • 【经验分享】使用httping来测试http/socks5 proxy的稳定性

    httping是一款http连通性测试工具,通过跟踪持续http请求的结果,来评估目标平台的稳定性。它支持http/https以及socks5代理,因此我们可以借以测试http/https/socks5代理的稳定性。

    示例1:
    测试http代理的稳定性,命令如下:
    httping --proxy 代理IP:代理端口 --proxy-user  代理用户名 --proxy-password  代理密码 -Y 目标网址
    效果如图1和图2所示。通过对比可以明细看出图2的代理要比图1的速度快很多,而且稳定性更好。

    示例2:
    测试socks5代理的稳定性,命令如下:
    httping -5 --proxy 代理IP:代理端口 --proxy-user  代理用户名 --proxy-password  代理密码  -Y 目标网址
    PS:与设置http代理相比,设置socks5代理只多了一个"-5"参数。
    效果如图3所示。

    httpping项目主页:http://t.cn/RqDnaQc,上面还有编译好的win64版本。
    发布时间:2021-03-26 12:23:58
  • 【经验分享】mysql修改数据存储目录datadir之后,无法正常启动。syslog显示错误信息如下:
    apparmor="DENIED" operation="open" profile="/usr/sbin/mysqld" name="/data/sdi/mysql_data/mysql/ibdata1"
    有很多类似行,见图1,跟文件权限有关。

    apparmor 是一款Linux下的应用程序权限控制软件,这里是它禁止了mysqld进程对新的数据库目录的访问。

    解决方案:
    (1)编辑apparmor的mysql进程权限配置文件etc/apparmor.d/usr.sbin.mysqld,加入对新的数据库目录的访问授权。
    (2)重启apparmor服务,sudo service apparmor restart,这一步很重要,光修改上述配置文件不行,重启才能生效。
    (3)重启mysql服务。
    发布时间:2021-03-18 13:26:50
  • 【吐槽+分享】商超类店铺商品真够多啊,一个华润万家店铺商品数超过了7000件。

    分享:
    美团外卖华润万家(益田店),店铺APP ID:6043548,地址:深圳市福田区福民路北面皇达东方雅苑裙楼。全量商品数据(约7000条),采集时间:2021-03-16
    数据下载链接:http://t.cn/A6tuEDLa

    字段说明:
    'id' - 商品ID;
    'category' - 所属分类(商家自定义分类);
    'name' - 商品名称;
    'min_price' - 商品价格;
    'origin_price' - 商品原价;
    'member_price' - 会员价;
    'unit' - 单位;
    'min_order_count' - 最少起售量;
    'spec' - 规格;
    'real_stock' - 库存;
    'month_saled_content' - 月销量;
    'praise_content' - 点赞数;
    'activity_tag' - 所属活动;
    'promotion_info' - 促销信息;
    'picture' - 商品图片;
    发布时间:2021-03-16 12:53:34
当前位置: 首页 > 技术文章 >
百度地图POI的边界GEOJSON数据采集
发布时间:2020-09-16

经过鲲之鹏技术人员数天的技术攻关,终于成功从百度地图APP采集到POI的边界数据,并成功进行了坐标数据还原和边界数据验证。下面详细介绍一下。

 
如下所示,是从百度地图APP采集到的某小区(uid为ba9b506a87e4f43cf32d8314)的基本信息和边界GEOJSON数据:
uid: ba9b506a87e4f43cf32d8314
name: 振业泊公馆
addr: 西安市灞桥区广安路800号
geo: Point [x=12139200, y=4046920]
cityId: 233
tel: (029)83531888
zip: null
nearby: null
geojson: 
{"dataset":[{"ud":"ba9b506a87e4f43cf32d8314","ty":33,"nst":60,"fst":0,"of":15,"in":0,"tx":"振业泊公馆","sgeo":{"bound":[12138948,4046770,12139454,4047084],"type":3,"elements":[{"points":[12139329,4047084,99,-203,26,-30,-3,-59,-459,-23,-30,16,-8,26,1,52,-7,131,56,19,4,17,3,53,318,2]}]}}]} 

该POI在百度地图APP中的边界截图如下:

振业泊公馆(ba9b506a87e4f43cf32d8314)小区边界

下面分析一下返回的GEOJSON数据的含义。

先看下POI的位置坐标参数,如下:

geo: Point [x=12139200, y=4046920]

以前我们曾介绍过,百度地图中使用的是墨卡托平面坐标,详见这里http://www.site-digger.com/html/articles/20150831/98.html

将[x=12139200, y=4046920]墨卡托坐标转换为经纬度坐标为(109.047102,34.315398),如下图所示。

将墨卡托平面坐标转换为经纬度坐标

可以通过坐标拾取系统的坐标反查功能验证一下,如下图所示,位置正确:

坐标拾取系统-坐标反查

再重点看GEOJSON的含义,为了便于查看,JSON数据格式化后如下图所示:

百度地图APP返回的POI边界GEOJSON原始数据

猜测边界信息位于"points"中。但是points数据看起来很奇怪,不是正常的经纬度组。

猜测1,按前后顺序每两个为一组经纬度。

前两个看起来是应该墨卡托坐标,后面的数字很小,而且有负数,很奇怪。

猜测2,从第二组数字起,值为相对于前一组数据的差值。例如第二组数据是(99, -203),真实值应该是(12139329 + 99, 4047084 - 203),即(12139428, 4046881)。

 

下面验证下上述猜测是否正确。按上述思路将points中的墨卡托坐标对进行修正:

# test.py

points = {'points': [12139329, 4047084, 99, -203, 26, -30, -3, -59, -459, -23, -30, 16, -8, 26, 1, 52, -7, 131, 56, 19, 4, 17, 3, 53, 318, 2]}

pre_x = None
pre_y = None
i = 0

while i <= len(points['points']) - 1:
    x = points['points'][i]
    y = points['points'][i+1]
    i += 2
    if pre_x is None:
        pre_x = x
        pre_y = y
        print (x, y)
    else:
        print (pre_x + x, pre_y + y)
        pre_x = pre_x + x
        pre_y = pre_y + y

修正后的13组墨卡托坐标对如下:

[(12139329, 4047084),
(12139428, 4046881),
(12139454, 4046851),
(12139451, 4046792),
(12138992, 4046769),
(12138962, 4046785),
(12138954, 4046811),
(12138955, 4046863),
(12138948, 4046994),
(12139004, 4047013),
(12139008, 4047030),
(12139011, 4047083),
(12139329, 4047085)]

再将其转为经纬度坐标对,如下:

[(109.04826126153179, 34.3166200411101),
(109.04915058398667, 34.315106883764116),
(109.04938414341926, 34.31488326211714),
(109.04935719425397, 34.31444347112423),
(109.04523397196317, 34.3142720265479),
(109.04496448031017, 34.31439129237754),
(109.04489261586937, 34.31458509898596),
(109.04490159892448, 34.31497271084807),
(109.04483871753878, 34.315949186570386),
(109.04534176862437, 34.31609081186824),
(109.04537770084477, 34.3162175290356),
(109.04540465001007, 34.316612587200495),
(109.04826126153179, 34.316627495019034)]

使用百度地图API标注(在线测试http://lbsyun.baidu.com/jsdemo.htm#c2_9),代码如下:

    // 百度地图API多边形区域标注
    // http://lbsyun.baidu.com/jsdemo.htm#c2_9
    var map = new BMap.Map("allmap");
    map.centerAndZoom(new BMap.Point(109.047102,34.315398), 15);
    map.enableScrollWheelZoom();
	
    var polygon = new BMap.Polygon([
    new BMap.Point(109.048261262,34.3166200411),
    new BMap.Point(109.049150584,34.3151068838),
    new BMap.Point(109.049384143,34.3148832621),
    new BMap.Point(109.049357194,34.3144434711),
    new BMap.Point(109.045233972,34.3142720265),
    new BMap.Point(109.04496448,34.3143912924),
    new BMap.Point(109.044892616,34.314585099),
    new BMap.Point(109.044901599,34.3149727108),
    new BMap.Point(109.044838718,34.3159491866),
    new BMap.Point(109.045341769,34.3160908119),
    new BMap.Point(109.045377701,34.316217529),
    new BMap.Point(109.04540465,34.3166125872),
    new BMap.Point(109.048261262,34.316627495)
    ], {strokeColor:"blue", strokeWeight:2, strokeOpacity:0.5});  //创建多边形
    map.addOverlay(polygon);   //增加多边形

标注效果如下:

POI边界在百度地图上标注结果

和百度地图中查询出来的该小区边界对比一致,如下图。

POI振业泊公馆在百度地图上查询出来的边界

 

再找另一个POI验证一遍,从百度地图APP采集到的小区(366581fe3fd52baa714b871e)的基本信息和边界信息如下:

uid: 366581fe3fd52baa714b871e
name: 水岸东方-三期
addr: 西安市灞桥区浐河东路与韩森东路交叉路口往东约100米(水岸东方)
geo: Point [x=12139965, y=4040335]
cityId: 233
tel: 
zip: null
nearby: null
geojson: 
{"dataset":[{"ud":"366581fe3fd52baa714b871e","ty":33,"nst":60,"fst":0,"of":15,"in":0,"tx":"水岸东方-三期","sgeo":{"bound":[12139757,4040117,12140208,4040590],"type":3,"elements":[{"points":[12139783,4040475,270,115,156,-399,-394,-74,-57,334,9,15,16,9]}]}}]}

修正后的墨卡托坐标组:

(12139783, 4040475)
(12140053, 4040590)
(12140209, 4040191)
(12139815, 4040117)
(12139758, 4040451)
(12139767, 4040466)
(12139783, 4040475)

墨卡托转经纬度后:

(109.05234,34.267343)
(109.054765,34.2682)
(109.056166,34.265224)
(109.052627,34.264672)
(109.052115,34.267164)
(109.052196, 34.267275)
(109.05234, 34.267343)

百度地图API标注测试,测试结果截图:

从百度地图APP采集到的水岸东方-三期边界数据标记结果

和直接通过百度地图中查询出来的边界是吻合的,如下图所示。

水岸东方-三期在百度地图上的边界

 

再找一个边界复杂点的小区验证下,从百度地图APP采集到的小区(50fe0b843b8fa7ed0b1cc7b9)的基本信息和GEOJSON数据如下:

uid: 50fe0b843b8fa7ed0b1cc7b9
name: 自然界·云栖
addr: 陕西省西安市灞桥区浐河东路与金桥六路交叉口东北
geo: Point [x=12137930, y=4049163]
cityId: 233
tel: 
zip: null
nearby: null
geojson: 
{"dataset":[{"ud":"50fe0b843b8fa7ed0b1cc7b9","ty":33,"nst":60,"fst":0,"of":15,"in":0,"tx":"自然界·云栖","sgeo":{"bound":[12137623,4049016,12138272,4049317],"type":3,"elements":[{"points":[12137623,4049168,25,32,97,64,66,13,19,6,28,20,58,16,45,-4,51,-8,32,-5,27,-18,162,-109,12,-1,27,-25,-84,-78,-101,16,-3,-50,-15,6,-70,7,-73,1,-121,-17,-57,-17,-124,152]}]}}]}

如下图所示,上面是在百度地图中查询出来的“自然界·云栖”小区的边界,下面是我们采集到的边界参数经过API标记后的结果。上下是吻合的。

POI自然界云栖在百度地图上的边界

 

再来一个边界更复杂的POI:

uid: b68bc691d025fcd81e1d1139
name: 长安大学
addr: 陕西省西安市碑林区二环南路中段126号
geo: Point [x=12129635, y=4036408]
cityId: 233
tel: (029)82334085
zip: null
nearby: null
geojson: 
{"dataset":[{"ud":"b68bc691d025fcd81e1d1139","ty":33,"nst":60,"fst":0,"of":15,"in":0,"tx":"长安大学","sgeo":{"bound":[12128773,4035966,12130346,4036962],"type":3,"elements":[{"points":[12130011,4036961,0,-80,95,-1,2,-59,89,1,10,-1,4,-1,1,-4,0,-60,36,0,24,-3,75,0,0,-121,-84,0,-1,-40,2,-55,-73,0,0,-46,3,-8,1,-80,-1,-12,0,-14,-2,-9,-1,-11,-30,0,-188,-1,-155,2,1,-41,5,-20,2,-21,2,-154,1,-150,-54,-5,-60,4,-5,1,-4,0,-4,-2,-9,-3,-19,-2,-87,0,-65,2,0,25,-160,-1,-145,-1,-138,-1,-177,-1,-127,-3,0,193,2,5,8,9,61,56,3,2,4,1,80,1,17,2,12,3,7,1,38,-1,26,3,48,8,205,4,236,5,1,38,10,40,4,296,68,-1,39,0,2,12,1,7,1,36,0,32,69,1,-1,70,-56,0,0,28,0,9,1,4,1,5,-1,64,17,0,1,28,151,1,37,0,41,-1,17,0,59,1,0,12,29,0]}]}}]}

如下图所示,上面是百度地图查询结果,下面是我们采集标注的结果。

POI长安大学在百度地图上的边界

特别说明:本文旨在技术交流,请勿将涉及的技术用于非法用途,否则一切后果自负。如果您觉得我们侵犯了您的合法权益,请联系我们予以处理。
☹ Disqus被Qiang了,之前所有的评论内容都看不到了。如果您有爬虫相关技术方面的问题,欢迎发到我们的问答平台:http://spider.site-digger.com/
QQ在线客服
欢迎咨询,点击这里给我发送消息。
欢迎咨询,点击这里给我发送消息。

加微信咨询