百度地图POI的边界GEOJSON数据采集_鲲鹏Web数据抓取

快捷导航

更多>>官方微博

西安鲲之鹏: 陕西西安

加关注

【经验分享】QEMU/KVM如何修改开机启动顺序？
virsh edit name-of-vm-instance
如下示例：
```
 <os>
    <type arch='x86_64' machine='pc-i440fx-xenial'>hvm</type>
    <boot dev="network"></boot>
    <boot dev="cdrom"></boot>
    <boot dev="hd"></boot>
    <bootmenu enable='yes'/>
  </os>
```
bootmenu的enable设置为yes，就可以在启动的时候按F12选择启动设备。
发布时间：2024-03-12 11:51:28
【经验分享】使用VNC远程连接KVM虚拟机，鼠标不同步而且偏移很大（想砸掉鼠标冲动的那种）问题解决：
（1）编辑虚拟机配置文件，例如sudo virsh edit win10_1，然后将<input type="mouse" bus="ps2" />修改为<input type="tablet" bus="usb" /> 。
（2）强制关闭虚拟机win10_1然后重启，问题解决。

发布时间：2024-03-13 09:26:51
【经验分享】Frida里Java.choose找到某个类的实例，在调用该实例方法时出现“script should be invoke on MainThread”问题的解决：

// Assign the javascript code to a variable.
jsCode = """
// Create a method called Cheese that will be exported.
function Cheese()
{
// Perform the code from injected context.
Java.perform(function ()
{
// Variable to store the view representing the button
// to click programmatically.
var view;
// Define the Runnable type javascript wrapper.
var Runnable = Java.use("java.lang.Runnable");

// Find the MainActivity class in myApp.
Java.choose("com.example.myApp.MainActivity",
{
// Once it has been found execute the following code.
onMatch: function(instance)
{
// Get the view representing button to click.
// 2131436712 id derived from decompiling app.
view = instance.findViewById(2131436712);
// Define a new class that implements Runnable and provide
// the implementation of the run() method which, will
// execute from the Main thread.
const MyRunnable = Java.registerClass({
name:'com.example.MyRunnable',
implements: [Runnable],
methods: {
// run executes button click.
run(){
instance.onClick(view);
},
}
});

// Create an instance of the class just created.
var MyGuiUpdate = MyRunnable .$new();
// Schedule the run method in MyGuiUpdate to
// execute on the UI thread.
instance.runOnUiThread(MyGuiUpdate );

},
onComplete:function(){}
});
解决方法来源：https://stackoverflow.com/questions/65790594/calling-an-api-to-modify-an-apps-gui-from-non-main-thread-in-frida

发布时间：2024-02-23 13:00:33
【经验分享】Frida script中如何给Java的Long类型变量赋值？
例如，某Java类中有如下Long类型变量定义：
/* renamed from: e */
public Long f90137e;

尝试修改e的值，依次做如下测试：
（1）classObj.e.value = 1978705204; 会报"Error: Expected value compatible with java.lang.Long"错误。
（2）classObj.e.value = Java.use('java.lang.Long').parseLong.overload('java.lang.String').call(Java.use('java.lang.Long'), "1978705204");依然会报上述错误。
（3）这个方法可以成功赋值：classObj.e.value = Java.use('java.lang.Long').$new(1978705204);

发布时间：2024-02-21 21:45:47
【经验分享】miller使用filter查询条件，当遇到字段含有空格或者其它特殊字符时怎么处理？如下示例中某个字段含有点号，直接查询会报错。解决方法如下：

示例：mlr --icsv --oxtab --from mouser_products_202312.csv filter '${Mfr.}=~"TDK" || ${Brand}=~"TDK"' then count

使用Pandas时，也有类似问题，解决方法：
df[df['Brand'].str.contains("TDK")|df['Mfr.'].str.contains("TDK")]
另外，Stackoverflow（https://stackoverflow.com/questions/50697536/pandas-query-function-not-working-with-spaces-in-column-names）上有人说可以用`字段`将字段包裹起来，例如：a.query('`a b` == 5') ，但是需要Pandas是0.25版本，我机器上是0.24.2，测试没有效果。

发布时间：2024-02-21 19:01:04
【经验分享】今天本地windows系统adb shell突然报错"error: unknown host service"，尝试"adb kill-server"、甚至重启PC和手机均不起作用。后来网上查了下，说是PC端adb的后台服务进程的5037端口被其它程序占用了。

解决方法：使用netstat -ano找到并关闭占有者进程，问题解决。
发布时间：2024-02-21 18:55:05
【经验分享】PPPOE认证返回“User Locked”，可能是因为MAC被拉黑了，换一个就好了。

发布时间：2024-01-16 13:00:17
【经验分享】Linux如何限制一个命令的运行时长？可以使用timeout命令。
例如，限制ping最多运行10秒，可以这样:
timeout 10s ping www.baidu.com

发布时间：2024-01-12 12:11:50
【经验分享】Playwright库使用context.route()/page.route()过滤HTTP(S)请求时发现有Ajax漏包的情况。查官方文档，发现有云：
browser_context.route() will not intercept requests intercepted by Service Worker. See this issue. We recommend disabling Service Workers when using request interception by setting browser.new_context.service_workers to 'block'.

尝试：
context = browser.new_context(service_workers='block')
问题解决。

参考1：https://playwright.dev/python/docs/api/class-browsercontext#browser-context-route
参考2：https://github.com/microsoft/playwright/issues/15684

发布时间：2024-01-10 11:56:20
【经验分享】Python fontTools 获取字体文件的字形名称列表，遇到"smile", "question", "space"等AGL名称，如何将其转为Unicode代码？

>>>import fontTools
>>>hex(fontTools.agl.AGL2UV['smileface'])
'0x263a'

参考：https://fonttools.readthedocs.io/en/latest/_modules/fontTools/agl.html

发布时间：2023-10-12 10:58:26

当前位置: 首页 > 技术文章 >

百度地图POI的边界GEOJSON数据采集

发布时间：2020-09-16

经过鲲之鹏技术人员数天的技术攻关，终于成功从百度地图APP采集到POI的边界数据，并成功进行了坐标数据还原和边界数据验证。下面详细介绍一下。

如下所示，是从百度地图APP采集到的某小区(uid为ba9b506a87e4f43cf32d8314)的基本信息和边界GEOJSON数据：

uid: ba9b506a87e4f43cf32d8314
name: 振业泊公馆
addr: 西安市灞桥区广安路800号
geo: Point [x=12139200, y=4046920]
cityId: 233
tel: (029)83531888
zip: null
nearby: null
geojson: 
{"dataset":[{"ud":"ba9b506a87e4f43cf32d8314","ty":33,"nst":60,"fst":0,"of":15,"in":0,"tx":"振业泊公馆","sgeo":{"bound":[12138948,4046770,12139454,4047084],"type":3,"elements":[{"points":[12139329,4047084,99,-203,26,-30,-3,-59,-459,-23,-30,16,-8,26,1,52,-7,131,56,19,4,17,3,53,318,2]}]}}]}

该POI在百度地图APP中的边界截图如下：

振业泊公馆（ba9b506a87e4f43cf32d8314）小区边界

下面分析一下返回的GEOJSON数据的含义。

先看下POI的位置坐标参数，如下：

geo: Point [x=12139200, y=4046920]

以前我们曾介绍过，百度地图中使用的是墨卡托平面坐标，详见这里http://www.site-digger.com/html/articles/20150831/98.html。

将[x=12139200, y=4046920]墨卡托坐标转换为经纬度坐标为(109.047102,34.315398)，如下图所示。

将墨卡托平面坐标转换为经纬度坐标

可以通过坐标拾取系统的坐标反查功能验证一下，如下图所示，位置正确：

坐标拾取系统-坐标反查

再重点看GEOJSON的含义，为了便于查看，JSON数据格式化后如下图所示：

百度地图APP返回的POI边界GEOJSON原始数据

猜测边界信息位于"points"中。但是points数据看起来很奇怪，不是正常的经纬度组。

猜测1，按前后顺序每两个为一组经纬度。

前两个看起来是应该墨卡托坐标，后面的数字很小，而且有负数，很奇怪。

猜测2，从第二组数字起，值为相对于前一组数据的差值。例如第二组数据是(99, -203)，真实值应该是(12139329 + 99, 4047084 - 203)，即(12139428, 4046881)。

下面验证下上述猜测是否正确。按上述思路将points中的墨卡托坐标对进行修正：

# test.py

points = {'points': [12139329, 4047084, 99, -203, 26, -30, -3, -59, -459, -23, -30, 16, -8, 26, 1, 52, -7, 131, 56, 19, 4, 17, 3, 53, 318, 2]}

pre_x = None
pre_y = None
i = 0

while i <= len(points['points']) - 1:
    x = points['points'][i]
    y = points['points'][i+1]
    i += 2
    if pre_x is None:
        pre_x = x
        pre_y = y
        print (x, y)
    else:
        print (pre_x + x, pre_y + y)
        pre_x = pre_x + x
        pre_y = pre_y + y

修正后的13组墨卡托坐标对如下：

[(12139329, 4047084),
(12139428, 4046881),
(12139454, 4046851),
(12139451, 4046792),
(12138992, 4046769),
(12138962, 4046785),
(12138954, 4046811),
(12138955, 4046863),
(12138948, 4046994),
(12139004, 4047013),
(12139008, 4047030),
(12139011, 4047083),
(12139329, 4047085)]

再将其转为经纬度坐标对，如下：

[(109.04826126153179, 34.3166200411101),
(109.04915058398667, 34.315106883764116),
(109.04938414341926, 34.31488326211714),
(109.04935719425397, 34.31444347112423),
(109.04523397196317, 34.3142720265479),
(109.04496448031017, 34.31439129237754),
(109.04489261586937, 34.31458509898596),
(109.04490159892448, 34.31497271084807),
(109.04483871753878, 34.315949186570386),
(109.04534176862437, 34.31609081186824),
(109.04537770084477, 34.3162175290356),
(109.04540465001007, 34.316612587200495),
(109.04826126153179, 34.316627495019034)]

使用百度地图API标注（在线测试http://lbsyun.baidu.com/jsdemo.htm#c2_9），代码如下：

    // 百度地图API多边形区域标注
    // http://lbsyun.baidu.com/jsdemo.htm#c2_9
    var map = new BMap.Map("allmap");
    map.centerAndZoom(new BMap.Point(109.047102,34.315398), 15);
    map.enableScrollWheelZoom();
	
    var polygon = new BMap.Polygon([
    new BMap.Point(109.048261262,34.3166200411),
    new BMap.Point(109.049150584,34.3151068838),
    new BMap.Point(109.049384143,34.3148832621),
    new BMap.Point(109.049357194,34.3144434711),
    new BMap.Point(109.045233972,34.3142720265),
    new BMap.Point(109.04496448,34.3143912924),
    new BMap.Point(109.044892616,34.314585099),
    new BMap.Point(109.044901599,34.3149727108),
    new BMap.Point(109.044838718,34.3159491866),
    new BMap.Point(109.045341769,34.3160908119),
    new BMap.Point(109.045377701,34.316217529),
    new BMap.Point(109.04540465,34.3166125872),
    new BMap.Point(109.048261262,34.316627495)
    ], {strokeColor:"blue", strokeWeight:2, strokeOpacity:0.5});  //创建多边形
    map.addOverlay(polygon);   //增加多边形

标注效果如下：

POI边界在百度地图上标注结果

和百度地图中查询出来的该小区边界对比一致，如下图。

POI振业泊公馆在百度地图上查询出来的边界

再找另一个POI验证一遍，从百度地图APP采集到的小区(366581fe3fd52baa714b871e)的基本信息和边界信息如下：

uid: 366581fe3fd52baa714b871e
name: 水岸东方-三期
addr: 西安市灞桥区浐河东路与韩森东路交叉路口往东约100米(水岸东方)
geo: Point [x=12139965, y=4040335]
cityId: 233
tel: 
zip: null
nearby: null
geojson: 
{"dataset":[{"ud":"366581fe3fd52baa714b871e","ty":33,"nst":60,"fst":0,"of":15,"in":0,"tx":"水岸东方-三期","sgeo":{"bound":[12139757,4040117,12140208,4040590],"type":3,"elements":[{"points":[12139783,4040475,270,115,156,-399,-394,-74,-57,334,9,15,16,9]}]}}]}

修正后的墨卡托坐标组：

(12139783, 4040475)
(12140053, 4040590)
(12140209, 4040191)
(12139815, 4040117)
(12139758, 4040451)
(12139767, 4040466)
(12139783, 4040475)

墨卡托转经纬度后：

(109.05234,34.267343)
(109.054765,34.2682)
(109.056166,34.265224)
(109.052627,34.264672)
(109.052115,34.267164)
(109.052196, 34.267275)
(109.05234, 34.267343)

百度地图API标注测试，测试结果截图：

从百度地图APP采集到的水岸东方-三期边界数据标记结果

和直接通过百度地图中查询出来的边界是吻合的，如下图所示。

水岸东方-三期在百度地图上的边界

再找一个边界复杂点的小区验证下，从百度地图APP采集到的小区(50fe0b843b8fa7ed0b1cc7b9)的基本信息和GEOJSON数据如下：

uid: 50fe0b843b8fa7ed0b1cc7b9
name: 自然界·云栖
addr: 陕西省西安市灞桥区浐河东路与金桥六路交叉口东北
geo: Point [x=12137930, y=4049163]
cityId: 233
tel: 
zip: null
nearby: null
geojson: 
{"dataset":[{"ud":"50fe0b843b8fa7ed0b1cc7b9","ty":33,"nst":60,"fst":0,"of":15,"in":0,"tx":"自然界·云栖","sgeo":{"bound":[12137623,4049016,12138272,4049317],"type":3,"elements":[{"points":[12137623,4049168,25,32,97,64,66,13,19,6,28,20,58,16,45,-4,51,-8,32,-5,27,-18,162,-109,12,-1,27,-25,-84,-78,-101,16,-3,-50,-15,6,-70,7,-73,1,-121,-17,-57,-17,-124,152]}]}}]}

如下图所示，上面是在百度地图中查询出来的“自然界·云栖”小区的边界，下面是我们采集到的边界参数经过API标记后的结果。上下是吻合的。

POI自然界云栖在百度地图上的边界

再来一个边界更复杂的POI：

uid: b68bc691d025fcd81e1d1139
name: 长安大学
addr: 陕西省西安市碑林区二环南路中段126号
geo: Point [x=12129635, y=4036408]
cityId: 233
tel: (029)82334085
zip: null
nearby: null
geojson: 
{"dataset":[{"ud":"b68bc691d025fcd81e1d1139","ty":33,"nst":60,"fst":0,"of":15,"in":0,"tx":"长安大学","sgeo":{"bound":[12128773,4035966,12130346,4036962],"type":3,"elements":[{"points":[12130011,4036961,0,-80,95,-1,2,-59,89,1,10,-1,4,-1,1,-4,0,-60,36,0,24,-3,75,0,0,-121,-84,0,-1,-40,2,-55,-73,0,0,-46,3,-8,1,-80,-1,-12,0,-14,-2,-9,-1,-11,-30,0,-188,-1,-155,2,1,-41,5,-20,2,-21,2,-154,1,-150,-54,-5,-60,4,-5,1,-4,0,-4,-2,-9,-3,-19,-2,-87,0,-65,2,0,25,-160,-1,-145,-1,-138,-1,-177,-1,-127,-3,0,193,2,5,8,9,61,56,3,2,4,1,80,1,17,2,12,3,7,1,38,-1,26,3,48,8,205,4,236,5,1,38,10,40,4,296,68,-1,39,0,2,12,1,7,1,36,0,32,69,1,-1,70,-56,0,0,28,0,9,1,4,1,5,-1,64,17,0,1,28,151,1,37,0,41,-1,17,0,59,1,0,12,29,0]}]}}]}

如下图所示，上面是百度地图查询结果，下面是我们采集标注的结果。

POI长安大学在百度地图上的边界

特别说明：本文旨在技术交流，请勿将涉及的技术用于非法用途，否则一切后果自负。如果您觉得我们侵犯了您的合法权益，请联系我们予以处理。

☹ Disqus被Qiang了，之前所有的评论内容都看不到了。如果您有爬虫相关技术方面的问题，欢迎发到我们的问答平台：http://spider.site-digger.com/

鲲鹏Web数据抓取 - 专业Web数据采集服务提供商

选择我们，所有数据都是你的！

服务热线：029-87553281

更多>>关于我们

快捷导航

更多>>技术文章

更多>>官方微博

发布时间：2024-03-12 11:51:28

发布时间：2024-03-13 09:26:51

发布时间：2024-02-23 13:00:33

发布时间：2024-02-21 21:45:47

发布时间：2024-02-21 19:01:04

发布时间：2024-02-21 18:55:05

发布时间：2024-01-16 13:00:17

发布时间：2024-01-12 12:11:50

发布时间：2024-01-10 11:56:20

发布时间：2023-10-12 10:58:26