【经验分享】某http proxy server远程连接老被reset，如图所示，curl连接总是返回“ Connection reset by peer”，偶尔也能成功一下。nc连接，能连上，但连上后马上断开。
在服务器上本地测试就没问题。刚开始怀疑是机房防火墙搞的怪，联系IDC无果。

proxy server用的是delegate，看命令行参数，偶然发现有个"MAXIMA=conpch:30"参数，突然意识到了问题，应该是并发数设置太小了。改成200，重启delegate，问题解决。

附“MAXIMA conpch”参数说明文档：
http://t.cn/A6c5ngHp
conpch  --- max. number of connections at a time per client host [unlimited]

• 

阅读全文 + 去微博评论 +

【经验分享】使用httping来测试http/socks5 proxy的稳定性

httping是一款http连通性测试工具，通过跟踪持续http请求的结果，来评估目标平台的稳定性。它支持http/https以及socks5代理，因此我们可以借以测试http/https/socks5代理的稳定性。

示例1：
测试http代理的稳定性，命令如下：
httping --proxy 代理IP:代理端口 --proxy-user  代理用户名 --proxy-password  代理密码 -Y 目标网址
效果如图1和图2所示。通过对比可以明细看出图2的代理要比图1的速度快很多，而且稳定性更好。

示例2：
测试socks5代理的稳定性，命令如下：
httping -5 --proxy 代理IP:代理端口 --proxy-user  代理用户名 --proxy-password  代理密码  -Y 目标网址
PS：与设置http代理相比，设置socks5代理只多了一个"-5"参数。
效果如图3所示。

httpping项目主页：http://t.cn/RqDnaQc，上面还有编译好的win64版本。

• 
• 
• 

阅读全文 + 去微博评论 +

【经验分享】mysql修改数据存储目录datadir之后，无法正常启动。syslog显示错误信息如下：
apparmor="DENIED" operation="open" profile="/usr/sbin/mysqld" name="/data/sdi/mysql_data/mysql/ibdata1"
有很多类似行，见图1，跟文件权限有关。

apparmor 是一款Linux下的应用程序权限控制软件，这里是它禁止了mysqld进程对新的数据库目录的访问。

解决方案：
（1）编辑apparmor的mysql进程权限配置文件etc/apparmor.d/usr.sbin.mysqld，加入对新的数据库目录的访问授权。
（2）重启apparmor服务，sudo service apparmor restart，这一步很重要，光修改上述配置文件不行，重启才能生效。
（3）重启mysql服务。

• 

阅读全文 + 去微博评论 +

【吐槽+分享】商超类店铺商品真够多啊，一个华润万家店铺商品数超过了7000件。

分享：
美团外卖华润万家（益田店），店铺APP ID：6043548，地址：深圳市福田区福民路北面皇达东方雅苑裙楼。全量商品数据（约7000条），采集时间：2021-03-16
数据下载链接：http://t.cn/A6tuEDLa

字段说明：
'id' - 商品ID；
'category' - 所属分类（商家自定义分类）；
'name' - 商品名称；
'min_price' - 商品价格；
'origin_price' - 商品原价；
'member_price' - 会员价；
'unit' - 单位；
'min_order_count' - 最少起售量；
'spec' - 规格；
'real_stock' - 库存；
'month_saled_content' - 月销量；
'praise_content' - 点赞数；
'activity_tag' - 所属活动；
'promotion_info' - 促销信息；
'picture' - 商品图片；

• 
• 

阅读全文 + 去微博评论 +

【经验分享】python lxml xpath 如何获取元素的原始xml(html)?
考虑场景：xpath遍历到某个element后，想用正则regex提取这个元素原始html的部分信息，那么如何获取元素的原始html呢？
使用etree.tostring(element, encoding='unicode')即可，注意这里的encoding参数：
encoding  is the output encoding (default is US-ASCII). Use encoding="unicode" to generate a Unicode string (otherwise, a bytestring is generated).

参考：
https://stackoverflow.com/questions/14896302/get-the-inner-html-of-a-element-in-lxml
http://t.cn/A6tQLsHg

阅读全文 + 去微博评论 +

【经验分享】Python中如何将被转义过的字符串还原？使用.decode('string-escape')
例如：
escaped_str = '{\"payload\":{\"0\":{\"k1\":\"v1\", \"k2\":\"v2\", \"k3\":\"v3\"}, \"1\":{\"k4\":\"v5\", \"k6\":\"v4\", \"k5\":\"v6\"}}}'
经过escaped_str.decode('string_escape')之后，还原成：
'{"payload":{"0":{"k1":"v1", "k2":"v2", "k3":"v3"}, "1":{"k4":"v5", "k6":"v4", "k5":"v6"}}}'

再例如：
escaped_str = '\\xe9\\xb2\\xb2\\xe9\\xb9\\x8f\\xe6\\x95\\xb0\\xe6\\x8d\\xae'
经过escaped_str.decode('string_escape')之后，还原成：
'鲲鹏数据'

阅读全文 + 去微博评论 +

【视频演示】外卖商品数据采集演示

输出数据示例：
1. 小六汤包（矿山路店）http://db.site-digger.com/csv/7761696d61695f313036343738333734363734383338335f32303231303232365f70726f6475637473/
2. 外婆印象（矿山路店） http://db.site-digger.com/csv/7761696d61695f3937373739373737343130373933375f32303231303232365f70726f6475637473/
3. 人人乐（洪庆店）http://db.site-digger.com/csv/7761696d61695f3933303332353530303539313135345f32303231303232365f70726f6475637473/
4.屈臣氏（长宁龙之梦店） http://db.site-digger.com/csv/7761696d61695f313038393739333334313239353737365f32303231303232365f70726f6475637473/
5. 蓝岛鲜花店 http://db.site-digger.com/csv/7761696d61695f313039353134303537353539343634325f32303231303232365f70726f6475637473/
6.菜大全（海蓝城店） http://db.site-digger.com/csv/7761696d61695f3939353936313139303739383333375f32303231303232365f70726f6475637473/
7. 7FRESH七鲜（西安万和城店） http://db.site-digger.com/csv/7761696d61695f3934373639303035333335363834385f32303231303232365f70726f6475637473/

阅读全文 + 去微博评论 +

【分享】大众点评各城市POI数据量统计结果列表
数据来源：大众点评APP，各城市全分类商户列表；
更新时间：2020年1月；
数据总量：共计2459个“城市”，其中一级城市370个，含港澳台。

大众点评全国全分类在营业POI数据量有多少？
根据370个一级城市统计结果加总显示有3922万条。

数据下载地址：
http://t.cn/A65VyV16

• 
 

阅读全文 + 去微博评论 +

【经验分享】使用urllib2时如何防止自定义的header被capitalization。

例如，程序里写的'x-requested-with'，但是发出去的包里却变成了'X-Requested-With'（如附图）。

解决方法，自定义一个str类的子类，重写title和capitalize方法（如下）。
class SafeString(str):
    def title(self):
        return self

    def capitalize(self):
        return self

然后在赋值的时候这样写即可：
headers[SafeString('x-requested-with')] = 'test'
PS：这样urllib在调用SafeString('x-requested-with')的title方法时候，就直接原样返回了。

• 

阅读全文 + 去微博评论 +

【经验分享】com.sankuai.meituan.takeoutnew在/sdcard/Android/这里藏有猫腻，如图 ​​​​

• 
• 

阅读全文 + 去微博评论 +

【经验分享】如何通过adb给安卓APP授权？
背景：自动操作APP时，APP在首次启动（刚安装完或者被pm clear之后）可能会出现授权提示（例如，允许获取当前位置），打断了自动化操作流程，如何实现自动化授权呢？

在启动APP之前，先通过adb命令给APP授予所需的权限即可，命令如下：
adb shell pm grant <packageName> android.permission.READ_CONTACTS
上述命令是给APP授予“读取联系人”的权限，更多的权限列表参见这里：
https://blog.csdn.net/HardWorkingAnt/article/details/70952583

经过授权之后，APP启动时就不会再弹出授权提示框了。

阅读全文 + 去微博评论 +

【备忘】curl --help|grep socks
     --socks4 HOST[:PORT]  SOCKS4 proxy on given host + port
     --socks4a HOST[:PORT]  SOCKS4a proxy on given host + port
     --socks5 HOST[:PORT]  SOCKS5 proxy on given host + port
     --socks5-hostname HOST[:PORT]  SOCKS5 proxy, pass host name to proxy（重点）
     --socks5-gssapi-service NAME  SOCKS5 proxy service name for GSS-API
     --socks5-gssapi-nec  Compatibility with NEC SOCKS5 server

阅读全文 + 去微博评论 +

【经验分享】如何"准确"查询一个ip的归属地？
查询IP归属地最常用的方法是通过类似iplocation.net的工具网站进行查询，但是他们的数据库可能存在错误或者更新不够及时，导致查询结果错误。

下面举两个例子：
（1）91.214.188.126这个IP是一台美国服务器的IP，但是iplocation.net确显示为“荷兰（Netherlands）”，如附图1所示。
（2）89.37.58.254这个IP是一台日本服务器的IP，但是iplocation.net确显示为“罗马尼亚（Romania）”，如附图2所示。

有什么办法能"准确"查询一个ip的归属地呢？ 可以采用路由追踪的方法，查看路由的最后几跳所在的位置。
（1）例如附图3所示，是对91.214.188.126的路由追踪结果，可以看到数据最终跑到了美国，因此它肯定是一个美国IP。
（2）再例如附图4所示，是对89.37.58.254的路由追踪结果，可以看到数据跳到了日本，因此它肯定是一个日本IP。

PS：这个图像化的路由追踪工具叫做Best Trace。
另外也可以使用这个traceroute这个在线工具>>>http://t.cn/E51F76C。

• 
• 
• 
• 

阅读全文 + 去微博评论 +

【逆向分析】CMCC“和助手”APP(2.9)HTTP加密方式分析
1. 直接抓包会发现“和助手”的请求和应答数据都是加密的。如附图1所示。
下面来分析下加解密算法，最终目的是实现直接和服务端进行HTTP交互。

2.APP运行后会释放gatewayClient-2-9目录，里面是HTML和JS文件。通过JS里的关键词得知，“和助手”采用的WADE-MOBILE框架。奇怪的是关于WADE-MOBILE网上的介绍很少，只找到这篇有用的介绍http://www.docin.com/p-2187443660.html，大体了解到这个框架使得安卓APP能够使用HTML+JS实现前端展示，通过JS代码调用安卓API实现业务功能（比如与服务端交互）。

3. 从common.js中的callSvc()，追踪到mobile-client.js中的Mobile.dataRequest()，继续追踪到wade-mobile.js中的WadeMobile.dataRequest()，继续追踪到 androidExecute()，最后追踪到mobile-core.js中的PluginManager.exec()。JS里通过PluginManager.exec()来实现调用安卓Java代码里的功能。如附图2所示。

4. 通过PluginManager.exec()调用的函数名，在Java代码中可以寻找到具体的实现。例如"dataRequest"，应该是实现后台交互的。在Java代码中找到dataRequest()的实现如附图3所示。

通过进一步跟踪，在transPostData()中可以看到HTTP参数的封装过程，如附图4所示。
这里的key是DES的秘钥，发给服务端用于解密客户端数据。data是要发送的数据部分，也被使用MobileSecurity.requestEncrypt()加密了。

需要注意的是这个key本身也是经过加密的，查看MobileSecurity.getDesKey()代码如附图5所示，这里key的值是经过RSA加密的（公钥位于res\raw\public_key）。另外，这里的key并不是固定的，是在每次MobileSecurity类初始化的时候随机生成的，如附图6所示。
另外，DESKeySpec(k)时，如果k的长度如果超过8字节，将只取前8字节。

应答数据的解密是通过MobileSecurity.responseDecrypt()实现的，附图7和8所示。

梳理一下“和助手”的加解密流程：
（1）APP每次会生成一个随机的key用于DES加解密。
（2）HTTP请求时会把key作为一个参数（使用RSA加密后）传递给服务端，同时将其它数据通过DES加密后放到data参数中。
（3）服务端接收到数据后，先用RSA私钥解密出key的明文，然后根据key再DES解密出data明文。
（4）服务端将HTTP应答数据也使用该key进行DES加密后回送。
（5）客户端收到HTTP应答数据后使用该key进行DES解密。

如附图9所示，是我们对服务端应答数据解密后的一个示例（中文部分显示为乱码）。

• 
• 
• 
• 
• 
• 
• 
• 
• 

阅读全文 + 去微博评论 +

【疑问】Intel的CPU比AMD的CPU对安卓模拟器的支持更好？同一个版本的安卓模拟器、同一个APP、同样的HOOK代码，在Intel下稳定运行，但在客户的AMD下出现各种各样的问题（应用闪退、应用崩溃、桌面卡死）。然后让客户换了一个Intel的环境试了下，没任何问题。 ​​​​

阅读全文 + 去微博评论 +