【视频演示】ANJUKE新房楼盘/二手房小区详细参数，基于APP采集，IP限制弱。

二手房小区字段：
u'community_id', u'城市', u'小区名', u'本月均价', u'价格变动', u'所在版块', u'地址', u'总户数', u'建造年代', u'物业公司', u'物业类型', u'物业费', u'开发商', u'总建面积',  u'容积率', u'停车位', u'绿化率', u'经度', u'纬度', u'简介'

新房楼盘字段：
u'loupan_id', u'城市', u'楼盘名称', u'别名', u'楼盘价格', u'特色', u'区域位置', u'楼盘地址', u'建筑类型', u'规划户数', u'工程进度', u'开盘时间', u'交房时间', u'容积率', u'绿化率',  u'开发商', u'物业类型', u'物业公司', u'物业管理费', u'车位比', u'车位数', u'楼层状况', u'楼盘户型', u'经度', u'纬度'  西安鲲之鹏的微博视频

阅读全文 + 去微博评论 +

【经验分享】grep命令提示Binary file (standard input) matches（如附图所示）怎么解决？
可以使用-a参数，e.g. grep -a 'pattern'。
-a, --text
Process a binary file as if it were text; this is equivalent to the ‘--binary-files=text’ option.

>>> http://t.cn/Ai1RqEdR ​​​​

• 

阅读全文 + 去微博评论 +

【经验分享】链家APP ssl pinning的分析和解决
（1）直接Fiddler抓包，失败，APP报网络异常，如图1所示；logcat报javax.net.ssl.SSLPeerUnverifiedException异常，如图2所示。
（2）反编译apk，查到证书验证部分核心代码，如图3和4所示。
（4）通过Frida HOOK okhttp3.internal.tls.OkHostnameVerifier verify()方法，始终返回true，绕过证书固定验证，代码如下：
Java.perform(function () {
    var OkHostnameVerifier = Java.use('okhttp3.internal.tls.OkHostnameVerifier');
    try {
         OkHostnameVerifier.verify.overload('java.lang.String', 'javax.net.ssl.SSLSession').implementation = function(p0, p1){
             console.log('ssl unpinning for "' + p0 + '"');
             return true;
       };
     } catch (e) {
        console.log(e);
    }
});
（5）如图5所示，Fiddler成功抓取到链接APP的HTTP交互数据。

• 
• 
• 
• 
• 

阅读全文 + 去微博评论 +

【经验分享】本文介绍了一例APP使用了非常规ssl pinning导致Fidder抓包失败，最终通过Frida HOOK成功解决，附源码。 >>> http://t.cn/Ai3tEzbP ​​​​

• 
• 
• 
• 
• 

阅读全文 + 去微博评论 +

【经验分享】今日拨号服务器上某PPPOE拨号持续失败，经查日志：“pppoe: send (sendPacket): Network is down”，ip link 查看对应的虚拟网卡状态是DOWN，无法设置为UP（sudo ip link set dev v051802057684 up失败）。但同一个账号在另外一个机器上测试正常，怀疑可能是MAC地址的问题（例如冲突了），果断删掉虚拟网卡（ sudo sudo ip link del v051802057684），然后重建并指定一个不同的MAC，拨号成功！

• 

阅读全文 + 去微博评论 +

【经验分享】昨天下午办公室断了下电，服务器重启后，adb devices显示10台设备都是“?????? no permissions”，第一次遇到这种情况。重启服务器和移动设备问题依据。后来在askubuntu上看到有人提到试一下sudo adb devices，竟然立马识别了（http://t.cn/AinpW0dY）。很诡异，之前用普通权限都一直正常着，为什么突然就没有权限了？

阅读全文 + 去微博评论 +

【经验分享】Termux自带的am命令版本太低，竟然不支持force-stop（如图1示），经查得知pm clear命令也可以停止一个APP，而且还会将APP的用户数据清除掉（回到刚安装的状态），试了一下果然有效，运行之后"/data/data/包名"目录下只剩下lib目录了。注意：需要root权限。 >>> http://t.cn/AiEFayJc ​​​​

• 
• 

阅读全文 + 去微博评论 +

【经验分享】"adb shell 命令"，如何让“命令”以root权限执行？
例如，某设备已root，但当执行adb shell rm /data/data/com.xxxx/cache时提示Permission denied。

解决方法：
adb shell "su -c '[your command goes here]'"
例如：
adb shell "su -c 'rm /data/data/com.xxxx/cache'"

参考文章"Is there a way for me to run Adb shell as root without typing in 'su'?" >>> http://t.cn/AiEd4P8m

阅读全文 + 去微博评论 +

【经验分享】关于小红书搜索结果数据抓取的限制：
1. 小红书微信小程序版之前是前600条可见，最近已被限制为前60条可见。
2. 小红书安卓APP版本限制为搜索结果前1000条可见。 ​​​​

• 

阅读全文 + 去微博评论 +

【经验分享】通过ADB启动手机淘宝APP搜索，打开指定关键词的搜索结果列表，如下示例，打开搜索“HUAWEI”的结果：
adb shell am start -n com.taobao.taobao/com.taobao.search.SearchListActivity -d "taobao://s.taobao.com/search?q=HUAWEI" ​​​​

• 
• 

阅读全文 + 去微博评论 +

【经验分享】手机淘宝APP商品搜索结果采集最新方案20190821(免登录)
（1）模拟操作APP操作，无需登录，不存在封账号；
（2）IP限制弱；
详见下附演示视频。  西安鲲之鹏的微博视频 ​​​​

阅读全文 + 去微博评论 +

【经验分享】终于搞定了支付宝口碑App数据采集，有图有真相。 ​​​​

• 

阅读全文 + 去微博评论 +

【经验分享】如何采集支付宝小程序的数据？adb模拟操作 + xposed Hook "com.alipay.mobile.nebula.util.H5Utils.parseObject"
如附图所示，成功获取服务端应答的JSON数据。 ​​​​

• 

阅读全文 + 去微博评论 +

【经验分享】Linux server(headless模式)下Android模拟器的实现。

现在越来越多的采集项目（采集APP数据）需要用到安卓模拟器了，然而市面上还没有支持Linux server(headless模式)下运行的安装模拟器，太遗憾了（因为公司大多数服务器都是Ubuntu server版本）。

我们可以使用KVM + Android x86版系统来实现：

1. 安装配置KVM。关于KVM在Ubuntu server下的安装配置步骤，详见我们去年的这篇文章：http://t.cn/EGdGjVE。
2. Android x86是支持运行于 x86 PC上的Android操作系统。下载Android X86 系统安装ISO文件，下载地址：http://t.cn/AiOgft2w，我测试的是android-x86-6.0-r3.iso。
3. 创建KVM虚拟硬盘：
qemu-img create -f qcow2 ./android60-1/android.img 10G
PS：磁盘大小10GB，虚拟磁盘文件存储路径./android60-1/android.img（后面要用到）。
4. 创建好网桥br0（直连主机外网，如附图1所示）。让虚拟机通过桥接模式上网，这样我们就可以很方便的从外网使用adb连接5555端口，进行远程控制。网桥的配置方法详见http://t.cn/EGdGjVE。
5. 启动KVM虚拟机，安装Android x86系统：
qemu-system-x86_64 -enable-kvm -m 2048 -smp 4 -cdrom "android-x86-6.0-r3.iso"  -hda "./android60-1/android.img" -net nic,model=virtio,macaddr=00:16:3E:51:CC:10 -net bridge,br=br0  -vnc :2

PS： 2048M内存，4核CPU，光驱链接系统安装镜像文件android-x86-6.0-r3.iso，指定虚拟机使用00:16:3E:51:CC:10这个MAC，使用网桥br0，指定VNC端口为5900 + 2 = 5902。

执行上述命令之后，就可以通过VNC连接5902端口，进行系统安装了，安装过程很简单，跟其它Linux发行版安装过程类似：先是分区，格式化磁盘，然后写入文件，重启（如附图2所示）。
6. 系统好之后，再次运行上述命令（注意要把-cdrom相关参数去掉，否则默认还会从光盘启动），首次进入系统，需要完成系统初始化配置。

PS：需要注意的是，如果卡到WIFI配置那里了（提示无法连接网络，安装向导无法连接到谷歌，原因你懂的），可以先关掉网络，方法是按Alt + F1，进入安装命令行模式（可以ping www.baidu.com，发现网络其实是通着的），执行ifconfig eth0 down断掉网络（如附图3所示），然后再按Alt + F7恢复图形模式，继续完成向导即可。

7. 配置好一个安卓虚拟机之后，我们可以直接通过复制多个虚拟磁盘文件android.img，启动多个安卓系统。注意：要指定不同的MAC地址，和不同的VNC端口。

如附图4和5所示，我配置好一个虚拟机，安装上所需的各种APP之后，通过直接复制android.img，又启动了2个MAC地址不同的安卓模拟器。

如附图6所示，通过adb远程连接上各安卓虚拟机（模拟器）。

• 
• 
• 
• 
• 
• 

阅读全文 + 去微博评论 +

【经验分享】美团外卖APP在siua头里隐藏了什么信息？
1. 美团外卖发出的HTTP请求头里有个叫做siua的头（如图1所示），它是什么鬼？
2.反编译APK，一路跟踪，找到了startCollection()，如图2所示。就是它了。
3. 通过Xposed HOOK上述函数，成功获取到明文数据（如下所示）。也如图3所示。

1.0}}MSM8974|Xiaomi|cancro_wc_lte|cancro|KTU84P|zh|CN|Xiaomi|MI 4LTE|4.4.4|19|release-keys|Xiaomi/cancro_wc_lte/cancro:4.4.4/KTU84P/99.12.4:user/release-keys|qcom|qh-miui-ota-bd58|user|cancro|armeabi-v7a|armeabi|cancro-user 4.4.4 KTU84P 99.12.4 release-keys|1|0|}}mtp,adb|mtp,adb|mtp,adb|MPSS.DI.3.0-525eb9a|Qualcomm RIL 1.0|wlan0|ABSENT||1|1|1|1|1|1|1|1|0|1|1|1}}ARMv7 Processor rev 1 (v7l)|Qualcomm MSM8974PRO-AC|4|Accelerometer|STMicroelectronics|Gravity|Qualcomm}}866500021425311|-|-|1920*1080|12GB|12GB|7c:1d:d9:76:af:f9||wifi}}-|0|-1.0|0|0||79d072a8-59fc-4ace-b45e-1b386d8de712}}0|0|0|-}}Android|com.sankuai.meituan.takeoutnew|5.12.3|19|-|2019-06-25 14:00:34:034}}0.0|0.0|KUNZHIPENG|0c:4b:54:da:bd:80|1|-46|-|-|-|}}

我们来看看这里面包含有什么信息：
手机品牌、型号、安卓版本号、IMEI码、WLAN的MAC地址、热点名称、热点的MAC地址(如图4所示，和路由器铭牌一致)、手机屏幕尺寸、存储空间...

• 
• 
• 
• 

阅读全文 + 去微博评论 +