更多>>关于我们
西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web（网站）数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构，日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池，可以有效获取互联网任何公开可见信息。
您只需告诉我们您想抓取的网站是什么，您感兴趣的字段有哪些，你需要的数据是哪种格式，我们将为您做所有的工作，最后把数据（或程序）交付给你。
数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。
更多>>技术文章
更多>>官方微博
-
【经验分享】未解锁BL的手机进9008模式（Mi6X为例）
对于未解锁BL的手机，需要拆机，通过短接特定触点的方式进入9008模式。
以小米Mi6X为例：
第一步，拧掉充电口旁边的两颗螺丝。
第二步，扣开后盖，可能不太好扣，可以借助美工刀在边缘撬一下。拧掉保护条上的3个螺丝。
第三步，拔掉电池排线。看图，记着两个短接触点的位置。
第四步，用镊子短接两个触点，同时插入TypeC线，2秒左右设备管理器"端口COM"里会出现9008接口，此时松开镊子。发布时间：2024-11-27 10:13:20
-
【经验分享】已解锁BL的手机进9008模式
高通9008模式全称"Qualcomm HS-USB QDLoader 9008"，它相对于recovery、fastboot和Android系统是独立的。即深刷模式，也叫EDL，号称"救砖神奇"。
对于已解锁BL的手机，进入9008相对比较简单，以小米Mi6X为例：
1. 先确定手机是否解锁BL了。已解锁BL的手机，刚开机的时候会有"Unlocked"字样，如附图1所示。
2. 长按“音量减键 + 开机键”进入fastboot。
3. 执行fastboot oem edl，即可进入9008模式，进入成功后设备管理器COM端口里可以看到"Qualcomm HS-USB QDLoader 9008"。如附图2、3所示。发布时间：2024-11-26 12:53:03
-
【经验分享】com.android.org.conscrypt.TrustManagerImpl证书固定检测绕过示例
某APP使用通用的sslunpinning脚本后仍然抓不到包：
（1）分析logcat日志，发现com.android.org.conscrypt.TrustManagerImpl类相关代码抛出java.security.cert.CertificateException异常，如图1所示。
（2）hook 类com.android.org.conscrypt.TrustManagerImpl的checkTrusted和checkServerTrusted方法，返回空列表，成功抓到包。
日志线索寻找关键词：CertificateException、CertificateExpiredExceptio、SSLHandshakeException发布时间：2024-10-24 15:36:45
-
【经验分享】如何获取安卓手机上已安装APP的安装包(.apk)文件？
1. 先查看已安装APP列表，确定对应APP的包名。
adb shell pm list packages
2. 假设包名为org.gushiwen.gushiwen。再根据包名查看APP的详细信息：
adb shell dumpsys package org.gushiwen.gushiwen
返回信息中的path属性，以base.apk结尾的，即就是这个APP的安装文件，如附图1所示。另外返回的信息中还有当前APP的版本（versionName属性），如附图2所示。
3. pull下来这个文件，就可以在其它设备上安装了。发布时间：2024-10-22 11:27:51
-
【经验分享】Dell R720意外断电重启之后丢失硬盘（硬盘状态变为Foreign）问题解决？
本来有10块盘，启动的时候显示只有9块Virtual Disk。“Ctrl + R”进入RAID设置，在“VD Mgmt”标签页下也只看到了9块Virtual Disk。在“PD Mgmt”标签页下看到是有10块物理盘，不过第5块状态变成“Foreign”了（如附图1所示）。
解决方法：在“VD Mgmt”标签页下，焦点切换到"PERC H710 Mini"上按F2，然后"Foreign Config"，再然后"Import"，操作完成（要等待几秒）之后就能看到全部盘了，如图2所示。
PS：用Ctrl + N快捷键切换菜单标签。发布时间：2024-10-18 16:35:44
-
【经验分享】一个游戏闯关模式学习CSS Selector的网站"CSS Diner"：https://flukeout.github.io/。
Python使用BeautifulSoup实现CSS Selector解析HTML文档的示例：
import requests
from bs4 import BeautifulSoup
r = requests.get('http://www.site-digger.com/html/articles/')
r.encoding = 'UTF-8'
html = r.text
soup = BeautifulSoup(html)
for a in soup.select('ul[class="arclist"] li a'):
print(a['href'], a.text)发布时间：2024-09-02 19:43:03
-
【经验分享】qemu-system-x86运行tiny11
(1) 安装qemu-system-x86，安装完成后无需重启。
sudo apt-get update
sudo apt-get install qemu qemu-utils qemu-system-x86
(2) 创建硬盘。
qemu-img create -f qcow2 tiny11.img 50G
(3) 创建虚拟机。
sudo qemu-system-x86_64 --enable-kvm -m 2G -smp 4 -boot order=dc -hda /home/qi/kvm/tiny11-1/tiny11.img -cdrom /home/qi/kvm/tiny11_23H2_x64.iso -vnc :1
(4) vnc连接 "服务器ip:5901"，完成系统安装过程。设置vnc密码的方法：https://qemu-project.gitlab.io/qemu/system/vnc-security.html#with-passwords。
(5) 映射主机端口给虚拟机，使用-redir参数。如下示例，将主机的TCP/UDP4001端口映射到虚拟机的4000端口。
-redir tcp:4001::4000 -redir udp:4001::4000发布时间：2024-08-10 12:13:46
-
【经验分享】Playwright过geo.captcha-delivery.com检测
page.add_init_script('''Object.defineProperties(navigator, {webdriver:{get:()=>undefined}}); delete navigator.__proto__.webdriver;''') 发布时间：2024-07-31 10:41:18
-
【经验分享】scrcpy在网络质量欠佳环境下可以通过降低码率来提高流畅度
e.g.
scrcpy --bit-rate 1M --max-fps 5
注意：在新版本中--bit-rate参数更名为--video-bit-rate 发布时间：2024-07-03 10:11:54
-
【经验分享】scrcpy在小米手机上鼠标不起作用问题的解决
在“开发者选项”中需要打开"USB调试（安全设置） - 允许通过USB调试修改权限或模拟点击"。要打开这个选项，手机需要先登录小米账号，另外手机必须要插有SIM卡。 发布时间：2024-07-03 10:09:29
数据说明
知名本地生活信息平台各品类商户数据，本次共采集到超过5303万条（53032367条，总数统计如下图所示）。 2019年6月-2020年1月采集。
PS：仅商户基本信息数据，不含评论列表数据。
更新说明
1.本轮共采集到了5303万条不重复的POI数据。PS：使用shop_id作为主键，没有重复。
2.本轮更新开始于2019年6月中旬，完成于2020年1月中旬，耗时近7个月。
3.数据涵盖美食、休闲娱乐、丽人、酒店、亲子、景点、运动健身、购物、家装、教育培训、生活服务、医疗健康、爱车、宠物、结婚等15大类。
各分类数据量如下：
美食 15408473
丽人 3465759
酒店 1080155
亲子 1357050
景点 250719
运动健身 300395
购物 10171669
家装 5077941
教育培训 1535670
生活服务 6691821
休闲娱乐 1750485
医疗健康 1760787
宠物 154696
爱车 2965910
结婚 755022
其它 305815
4. 数据覆盖全国约400个城市，不含境外城市。点击这里查看各城市店铺数量统计。
5. 本次采集首先对2018年6月份的采集版本(4794万)做了全量完整更新。同时通过遍历POI列表又新采集到509万新增的POI。
6. 本版本5303万商户POI数据中：
■状态为"在营业"的有34076224条；
■状态为"关闭"的有18512495条；
■状态为"尚未营业"的有151144条；
■状态为"暂停营业"的有284907条；
■状态为"网友提交"的公共信息7597条。
PS：关闭的店铺在源网站上仍将可以打开，页面会有标志"商户已关"。
7. 其中有电话号码的28634002家（约占总数据量的54%）。
8. 本次采集的是APP数据源，2018年6月之前均采集的是PC版数据源。因此字段有所调整，例如少了"good_remarks"（好评数）和"bad_remarks"（差评数）字段。
字段说明
数据格式
数据格式：CSV和MySQL。
字符编码：UTF-8。
文件大小：RAR压缩后3.41GB，解压后约20GB。
示例数据
点击查看：http://db.site-digger.com/csv/6469616e70696e675f73686f70735f3230313930362d3230323030325f76335f757466385f73616d706c655f31303030/
温馨提示：为了保护个人隐私，示例数据中的手机号码隐藏了中间4位。