百度地图POI的边界GEOJSON数据采集_鲲鹏Web数据抓取

快捷导航

更多>>官方微博

西安鲲之鹏: 陕西西安

加关注

【经验分享】未解锁BL的手机进9008模式（Mi6X为例）

对于未解锁BL的手机，需要拆机，通过短接特定触点的方式进入9008模式。
以小米Mi6X为例：
第一步，拧掉充电口旁边的两颗螺丝。
第二步，扣开后盖，可能不太好扣，可以借助美工刀在边缘撬一下。拧掉保护条上的3个螺丝。
第三步，拔掉电池排线。看图，记着两个短接触点的位置。
第四步，用镊子短接两个触点，同时插入TypeC线，2秒左右设备管理器"端口COM"里会出现9008接口，此时松开镊子。
发布时间：2024-11-27 10:13:20
【经验分享】已解锁BL的手机进9008模式

高通9008模式全称"Qualcomm HS-USB QDLoader 9008"，它相对于recovery、fastboot和Android系统是独立的。即深刷模式，也叫EDL，号称"救砖神奇"。

对于已解锁BL的手机，进入9008相对比较简单，以小米Mi6X为例：
1. 先确定手机是否解锁BL了。已解锁BL的手机，刚开机的时候会有"Unlocked"字样，如附图1所示。
2. 长按“音量减键 + 开机键”进入fastboot。
3. 执行fastboot oem edl，即可进入9008模式，进入成功后设备管理器COM端口里可以看到"Qualcomm HS-USB QDLoader 9008"。如附图2、3所示。
发布时间：2024-11-26 12:53:03
【经验分享】com.android.org.conscrypt.TrustManagerImpl证书固定检测绕过示例

某APP使用通用的sslunpinning脚本后仍然抓不到包：
（1）分析logcat日志，发现com.android.org.conscrypt.TrustManagerImpl类相关代码抛出java.security.cert.CertificateException异常，如图1所示。
（2）hook 类com.android.org.conscrypt.TrustManagerImpl的checkTrusted和checkServerTrusted方法，返回空列表，成功抓到包。

日志线索寻找关键词：CertificateException、CertificateExpiredExceptio、SSLHandshakeException
发布时间：2024-10-24 15:36:45
【经验分享】如何获取安卓手机上已安装APP的安装包(.apk)文件？

1. 先查看已安装APP列表，确定对应APP的包名。
adb shell pm list packages
2. 假设包名为org.gushiwen.gushiwen。再根据包名查看APP的详细信息：
adb shell dumpsys package org.gushiwen.gushiwen
返回信息中的path属性，以base.apk结尾的，即就是这个APP的安装文件，如附图1所示。另外返回的信息中还有当前APP的版本（versionName属性），如附图2所示。
3. pull下来这个文件，就可以在其它设备上安装了。
发布时间：2024-10-22 11:27:51
【经验分享】Dell R720意外断电重启之后丢失硬盘（硬盘状态变为Foreign）问题解决？

本来有10块盘，启动的时候显示只有9块Virtual Disk。“Ctrl + R”进入RAID设置，在“VD Mgmt”标签页下也只看到了9块Virtual Disk。在“PD Mgmt”标签页下看到是有10块物理盘，不过第5块状态变成“Foreign”了（如附图1所示）。

解决方法：在“VD Mgmt”标签页下，焦点切换到"PERC H710 Mini"上按F2，然后"Foreign Config"，再然后"Import"，操作完成（要等待几秒）之后就能看到全部盘了，如图2所示。

PS：用Ctrl + N快捷键切换菜单标签。
发布时间：2024-10-18 16:35:44
【经验分享】一个游戏闯关模式学习CSS Selector的网站"CSS Diner"：https://flukeout.github.io/。
Python使用BeautifulSoup实现CSS Selector解析HTML文档的示例：

import requests
from bs4 import BeautifulSoup

r = requests.get('http://www.site-digger.com/html/articles/')
r.encoding = 'UTF-8'
html = r.text
soup = BeautifulSoup(html)
for a in soup.select('ul[class="arclist"] li a'):
print(a['href'], a.text)
发布时间：2024-09-02 19:43:03
【经验分享】qemu-system-x86运行tiny11
(1) 安装qemu-system-x86，安装完成后无需重启。
sudo apt-get update
sudo apt-get install qemu qemu-utils qemu-system-x86
(2) 创建硬盘。
qemu-img create -f qcow2 tiny11.img 50G
(3) 创建虚拟机。
sudo qemu-system-x86_64 --enable-kvm -m 2G -smp 4 -boot order=dc -hda /home/qi/kvm/tiny11-1/tiny11.img -cdrom /home/qi/kvm/tiny11_23H2_x64.iso -vnc :1
(4) vnc连接 "服务器ip:5901"，完成系统安装过程。设置vnc密码的方法：https://qemu-project.gitlab.io/qemu/system/vnc-security.html#with-passwords。
(5) 映射主机端口给虚拟机，使用-redir参数。如下示例，将主机的TCP/UDP4001端口映射到虚拟机的4000端口。
-redir tcp:4001::4000 -redir udp:4001::4000
发布时间：2024-08-10 12:13:46
【经验分享】Playwright过geo.captcha-delivery.com检测

page.add_init_script('''Object.defineProperties(navigator, {webdriver:{get:()=>undefined}}); delete navigator.__proto__.webdriver;''')

发布时间：2024-07-31 10:41:18
【经验分享】scrcpy在网络质量欠佳环境下可以通过降低码率来提高流畅度
e.g.
scrcpy --bit-rate 1M --max-fps 5
注意：在新版本中--bit-rate参数更名为--video-bit-rate

发布时间：2024-07-03 10:11:54
【经验分享】scrcpy在小米手机上鼠标不起作用问题的解决

在“开发者选项”中需要打开"USB调试（安全设置） - 允许通过USB调试修改权限或模拟点击"。要打开这个选项，手机需要先登录小米账号，另外手机必须要插有SIM卡。
发布时间：2024-07-03 10:09:29

当前位置: 首页 > 技术文章 >

百度地图POI的边界GEOJSON数据采集

发布时间：2020-09-16

经过鲲之鹏技术人员数天的技术攻关，终于成功从百度地图APP采集到POI的边界数据，并成功进行了坐标数据还原和边界数据验证。下面详细介绍一下。

如下所示，是从百度地图APP采集到的某小区(uid为ba9b506a87e4f43cf32d8314)的基本信息和边界GEOJSON数据：

uid: ba9b506a87e4f43cf32d8314
name: 振业泊公馆
addr: 西安市灞桥区广安路800号
geo: Point [x=12139200, y=4046920]
cityId: 233
tel: (029)83531888
zip: null
nearby: null
geojson: 
{"dataset":[{"ud":"ba9b506a87e4f43cf32d8314","ty":33,"nst":60,"fst":0,"of":15,"in":0,"tx":"振业泊公馆","sgeo":{"bound":[12138948,4046770,12139454,4047084],"type":3,"elements":[{"points":[12139329,4047084,99,-203,26,-30,-3,-59,-459,-23,-30,16,-8,26,1,52,-7,131,56,19,4,17,3,53,318,2]}]}}]}

该POI在百度地图APP中的边界截图如下：

振业泊公馆（ba9b506a87e4f43cf32d8314）小区边界

下面分析一下返回的GEOJSON数据的含义。

先看下POI的位置坐标参数，如下：

geo: Point [x=12139200, y=4046920]

以前我们曾介绍过，百度地图中使用的是墨卡托平面坐标，详见这里http://www.site-digger.com/html/articles/20150831/98.html。

将[x=12139200, y=4046920]墨卡托坐标转换为经纬度坐标为(109.047102,34.315398)，如下图所示。

将墨卡托平面坐标转换为经纬度坐标

可以通过坐标拾取系统的坐标反查功能验证一下，如下图所示，位置正确：

坐标拾取系统-坐标反查

再重点看GEOJSON的含义，为了便于查看，JSON数据格式化后如下图所示：

百度地图APP返回的POI边界GEOJSON原始数据

猜测边界信息位于"points"中。但是points数据看起来很奇怪，不是正常的经纬度组。

猜测1，按前后顺序每两个为一组经纬度。

前两个看起来是应该墨卡托坐标，后面的数字很小，而且有负数，很奇怪。

猜测2，从第二组数字起，值为相对于前一组数据的差值。例如第二组数据是(99, -203)，真实值应该是(12139329 + 99, 4047084 - 203)，即(12139428, 4046881)。

下面验证下上述猜测是否正确。按上述思路将points中的墨卡托坐标对进行修正：

# test.py

points = {'points': [12139329, 4047084, 99, -203, 26, -30, -3, -59, -459, -23, -30, 16, -8, 26, 1, 52, -7, 131, 56, 19, 4, 17, 3, 53, 318, 2]}

pre_x = None
pre_y = None
i = 0

while i <= len(points['points']) - 1:
    x = points['points'][i]
    y = points['points'][i+1]
    i += 2
    if pre_x is None:
        pre_x = x
        pre_y = y
        print (x, y)
    else:
        print (pre_x + x, pre_y + y)
        pre_x = pre_x + x
        pre_y = pre_y + y

修正后的13组墨卡托坐标对如下：

[(12139329, 4047084),
(12139428, 4046881),
(12139454, 4046851),
(12139451, 4046792),
(12138992, 4046769),
(12138962, 4046785),
(12138954, 4046811),
(12138955, 4046863),
(12138948, 4046994),
(12139004, 4047013),
(12139008, 4047030),
(12139011, 4047083),
(12139329, 4047085)]

再将其转为经纬度坐标对，如下：

[(109.04826126153179, 34.3166200411101),
(109.04915058398667, 34.315106883764116),
(109.04938414341926, 34.31488326211714),
(109.04935719425397, 34.31444347112423),
(109.04523397196317, 34.3142720265479),
(109.04496448031017, 34.31439129237754),
(109.04489261586937, 34.31458509898596),
(109.04490159892448, 34.31497271084807),
(109.04483871753878, 34.315949186570386),
(109.04534176862437, 34.31609081186824),
(109.04537770084477, 34.3162175290356),
(109.04540465001007, 34.316612587200495),
(109.04826126153179, 34.316627495019034)]

使用百度地图API标注（在线测试http://lbsyun.baidu.com/jsdemo.htm#c2_9），代码如下：

    // 百度地图API多边形区域标注
    // http://lbsyun.baidu.com/jsdemo.htm#c2_9
    var map = new BMap.Map("allmap");
    map.centerAndZoom(new BMap.Point(109.047102,34.315398), 15);
    map.enableScrollWheelZoom();
	
    var polygon = new BMap.Polygon([
    new BMap.Point(109.048261262,34.3166200411),
    new BMap.Point(109.049150584,34.3151068838),
    new BMap.Point(109.049384143,34.3148832621),
    new BMap.Point(109.049357194,34.3144434711),
    new BMap.Point(109.045233972,34.3142720265),
    new BMap.Point(109.04496448,34.3143912924),
    new BMap.Point(109.044892616,34.314585099),
    new BMap.Point(109.044901599,34.3149727108),
    new BMap.Point(109.044838718,34.3159491866),
    new BMap.Point(109.045341769,34.3160908119),
    new BMap.Point(109.045377701,34.316217529),
    new BMap.Point(109.04540465,34.3166125872),
    new BMap.Point(109.048261262,34.316627495)
    ], {strokeColor:"blue", strokeWeight:2, strokeOpacity:0.5});  //创建多边形
    map.addOverlay(polygon);   //增加多边形

标注效果如下：

POI边界在百度地图上标注结果

和百度地图中查询出来的该小区边界对比一致，如下图。

POI振业泊公馆在百度地图上查询出来的边界

再找另一个POI验证一遍，从百度地图APP采集到的小区(366581fe3fd52baa714b871e)的基本信息和边界信息如下：

uid: 366581fe3fd52baa714b871e
name: 水岸东方-三期
addr: 西安市灞桥区浐河东路与韩森东路交叉路口往东约100米(水岸东方)
geo: Point [x=12139965, y=4040335]
cityId: 233
tel: 
zip: null
nearby: null
geojson: 
{"dataset":[{"ud":"366581fe3fd52baa714b871e","ty":33,"nst":60,"fst":0,"of":15,"in":0,"tx":"水岸东方-三期","sgeo":{"bound":[12139757,4040117,12140208,4040590],"type":3,"elements":[{"points":[12139783,4040475,270,115,156,-399,-394,-74,-57,334,9,15,16,9]}]}}]}

修正后的墨卡托坐标组：

(12139783, 4040475)
(12140053, 4040590)
(12140209, 4040191)
(12139815, 4040117)
(12139758, 4040451)
(12139767, 4040466)
(12139783, 4040475)

墨卡托转经纬度后：

(109.05234,34.267343)
(109.054765,34.2682)
(109.056166,34.265224)
(109.052627,34.264672)
(109.052115,34.267164)
(109.052196, 34.267275)
(109.05234, 34.267343)

百度地图API标注测试，测试结果截图：

从百度地图APP采集到的水岸东方-三期边界数据标记结果

和直接通过百度地图中查询出来的边界是吻合的，如下图所示。

水岸东方-三期在百度地图上的边界

再找一个边界复杂点的小区验证下，从百度地图APP采集到的小区(50fe0b843b8fa7ed0b1cc7b9)的基本信息和GEOJSON数据如下：

uid: 50fe0b843b8fa7ed0b1cc7b9
name: 自然界·云栖
addr: 陕西省西安市灞桥区浐河东路与金桥六路交叉口东北
geo: Point [x=12137930, y=4049163]
cityId: 233
tel: 
zip: null
nearby: null
geojson: 
{"dataset":[{"ud":"50fe0b843b8fa7ed0b1cc7b9","ty":33,"nst":60,"fst":0,"of":15,"in":0,"tx":"自然界·云栖","sgeo":{"bound":[12137623,4049016,12138272,4049317],"type":3,"elements":[{"points":[12137623,4049168,25,32,97,64,66,13,19,6,28,20,58,16,45,-4,51,-8,32,-5,27,-18,162,-109,12,-1,27,-25,-84,-78,-101,16,-3,-50,-15,6,-70,7,-73,1,-121,-17,-57,-17,-124,152]}]}}]}

如下图所示，上面是在百度地图中查询出来的“自然界·云栖”小区的边界，下面是我们采集到的边界参数经过API标记后的结果。上下是吻合的。

POI自然界云栖在百度地图上的边界

再来一个边界更复杂的POI：

uid: b68bc691d025fcd81e1d1139
name: 长安大学
addr: 陕西省西安市碑林区二环南路中段126号
geo: Point [x=12129635, y=4036408]
cityId: 233
tel: (029)82334085
zip: null
nearby: null
geojson: 
{"dataset":[{"ud":"b68bc691d025fcd81e1d1139","ty":33,"nst":60,"fst":0,"of":15,"in":0,"tx":"长安大学","sgeo":{"bound":[12128773,4035966,12130346,4036962],"type":3,"elements":[{"points":[12130011,4036961,0,-80,95,-1,2,-59,89,1,10,-1,4,-1,1,-4,0,-60,36,0,24,-3,75,0,0,-121,-84,0,-1,-40,2,-55,-73,0,0,-46,3,-8,1,-80,-1,-12,0,-14,-2,-9,-1,-11,-30,0,-188,-1,-155,2,1,-41,5,-20,2,-21,2,-154,1,-150,-54,-5,-60,4,-5,1,-4,0,-4,-2,-9,-3,-19,-2,-87,0,-65,2,0,25,-160,-1,-145,-1,-138,-1,-177,-1,-127,-3,0,193,2,5,8,9,61,56,3,2,4,1,80,1,17,2,12,3,7,1,38,-1,26,3,48,8,205,4,236,5,1,38,10,40,4,296,68,-1,39,0,2,12,1,7,1,36,0,32,69,1,-1,70,-56,0,0,28,0,9,1,4,1,5,-1,64,17,0,1,28,151,1,37,0,41,-1,17,0,59,1,0,12,29,0]}]}}]}

如下图所示，上面是百度地图查询结果，下面是我们采集标注的结果。

POI长安大学在百度地图上的边界

特别说明：本文旨在技术交流，请勿将涉及的技术用于非法用途，否则一切后果自负。如果您觉得我们侵犯了您的合法权益，请联系我们予以处理。

☹ Disqus被Qiang了，之前所有的评论内容都看不到了。如果您有爬虫相关技术方面的问题，欢迎发到我们的问答平台：http://spider.site-digger.com/

鲲鹏Web数据抓取 - 专业Web数据采集服务提供商

选择我们，所有数据都是你的！

服务热线：029-68863281

更多>>关于我们

快捷导航

更多>>技术文章

更多>>官方微博

发布时间：2024-11-27 10:13:20

发布时间：2024-11-26 12:53:03

发布时间：2024-10-24 15:36:45

发布时间：2024-10-22 11:27:51

发布时间：2024-10-18 16:35:44

发布时间：2024-09-02 19:43:03

发布时间：2024-08-10 12:13:46

发布时间：2024-07-31 10:41:18

发布时间：2024-07-03 10:11:54

发布时间：2024-07-03 10:09:29