更多>>关于我们
西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效获取互联网任何公开可见信息。
您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。
数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。
更多>>技术文章
应客户需求对一款名为“儿科主治医师总题库”(https://www.wandoujia.com/apps/com.zitibaohe.zhuzhiyishierke,包名为com.zitibaohe.zhuzhiyishierke)的APP进行采集可行性分析。
这款APP和服务器的通信使用的是HTTP协议,很容易抓到数据包,可惜返回的数据是加密的,如下图所示。
根据以往经验,内容应该是被AES加密了。要想还原出明文,必须要反编译拿到KEY才行。
下载APK文件,用JADX对其进行反编译,发现被加壳了,使用的是360的加壳工具,如下图所示。
必须先脱壳才能反编译到真实的APK源码。脱壳我们使用Xposed + FDex2插件(PS:如果你对Xposed还不熟悉,建议先阅读Xposed相关文章)。
安装好FDex2插件(不要忘了重启系统),启动插件,点选要脱壳的APP,如下图所示。
然后启动目标APP(儿科主治医师总题库)。使用Root Explorer浏览到APP的数据目录(/data/data/com.zitibaohe.zhuzhiyishierke/)下,如果看到多个dex文件(原本该目录下没有这些文件,如下图所示),说明脱壳成功了。
将这几个dex文件pull下来,然后依次用JADX对其进行反编译。由于有多个dex,怎么快速定位我们关注的代码在哪一个里呢?我们可以搜一些特征字符串,比如前面抓包看到的请求URL中的个“questions”,如果找到了,说明八成就是这个dex文件(如下图所示)。
然后我们再搜索AES相关的关键词比如“AES/”,"SecretKeySpec"或“IvParameterSpec”,最终成功定位(如下图所示),其使用了"AES/CBC/NoPadding"加密算法,对应的KEY和IV都是明文的。
我们来验证下KEY和IV是否正确。借助“AES Online”(http://aes.online-domain-tools.com/)这个在线工具,选择对应的加密算法,输入密文、KEY、IV(如下图所示)。
然后点击"Decrypt",成功还原出明文(如下图所示)。点击“[Download as a binary file]”下载解密后的数据文件,发现内容是JSON格式的,解析之后如下图所示。
至此,目标实现。
除了上述通过反编译源码来获取秘钥外(过程很繁琐),我们还可以利用Xposed的方式(你需要先了解Xposed相关知识),通过HOOK javax.crypto.spec.SecretKeySpec和javax.crypto.spec.IvParameterSpec类来截获KEY和IV,操作过程简单,下面介绍两个相关插件。
1.使用Inspeckage(https://github.com/ac-pm/Inspeckage)这个Android动态分析工具。如下图所示是Inspeckage截获到的AES的KEY,与我们上面通过源码获取到的一致(不过没有获取的IV,原因未知)。
2.我还测了一个叫做CryptoFucker的Xposed插件(https://github.com/Chenyuxin/CryptoFucker),用起来虽然没有Inspeckage方便(没有UI),不过,效果很好,成功获取到了KEY和IV,如下图所示(HEX形式显示)。