更多>>关于我们

西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效绕过各种反采集策略。

您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。

数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。

更多>>官方微博

西安鲲之鹏
陕西 西安

加关注

  • 【经验分享】Linux server(headless模式)下Android模拟器的实现。

    现在越来越多的采集项目(采集APP数据)需要用到安卓模拟器了,然而市面上还没有支持Linux server(headless模式)下运行的安装模拟器,太遗憾了(因为公司大多数服务器都是Ubuntu server版本)。

    我们可以使用KVM + Android x86版系统来实现:

    1. 安装配置KVM。关于KVM在Ubuntu server下的安装配置步骤,详见我们去年的这篇文章:http://t.cn/EGdGjVE
    2. Android x86是支持运行于 x86 PC上的Android操作系统。下载Android X86 系统安装ISO文件,下载地址:https://osdn.net/projects/android-x86/releases,我测试的是android-x86-6.0-r3.iso。
    3. 创建KVM虚拟硬盘:
    qemu-img create -f qcow2 ./android60-1/android.img 10G
    PS:磁盘大小10GB,虚拟磁盘文件存储路径./android60-1/android.img(后面要用到)。
    4. 创建好网桥br0(直连主机外网,如附图1所示)。让虚拟机通过桥接模式上网,这样我们就可以很方便的从外网使用adb连接5555端口,进行远程控制。网桥的配置方法详见http://t.cn/EGdGjVE
    5. 启动KVM虚拟机,安装Android x86系统:
    qemu-system-x86_64 -enable-kvm -m 2048 -smp 4 -cdrom "android-x86-6.0-r3.iso"  -hda "./android60-1/android.img" -net nic,model=virtio,macaddr=00:16:3E:51:CC:10 -net bridge,br=br0  -vnc :2

    PS: 2048M内存,4核CPU,光驱链接系统安装镜像文件android-x86-6.0-r3.iso,指定虚拟机使用00:16:3E:51:CC:10这个MAC,使用网桥br0,指定VNC端口为5900 + 2 = 5902。

    执行上述命令之后,就可以通过VNC连接5902端口,进行系统安装了,安装过程很简单,跟其它Linux发行版安装过程类似:先是分区,格式化磁盘,然后写入文件,重启(如附图2所示)。
    6. 系统好之后,再次运行上述命令(注意要把-cdrom相关参数去掉,否则默认还会从光盘启动),首次进入系统,需要完成系统初始化配置。

    PS:需要注意的是,如果卡到WIFI配置那里了(提示无法连接网络,安装向导无法连接到谷歌,原因你懂的),可以先关掉网络,方法是按Alt + F1,进入安装命令行模式(可以ping www.baidu.com,发现网络其实是通着的),执行ifconfig eth0 down断掉网络(如附图3所示),然后再按Alt + F7恢复图形模式,继续完成向导即可。

    7. 配置好一个安卓虚拟机之后,我们可以直接通过复制多个虚拟磁盘文件android.img,启动多个安卓系统。注意:要指定不同的MAC地址,和不同的VNC端口。

    如附图4和5所示,我配置好一个虚拟机,安装上所需的各种APP之后,通过直接复制android.img,又启动了2个MAC地址不同的安卓模拟器。

    如附图6所示,通过adb远程连接上各安卓虚拟机(模拟器)。
    发布时间:2019-07-10 17:08:14
  • 【经验分享】美团外卖APP在siua头里隐藏了什么信息?
    1. 美团外卖发出的HTTP请求头里有个叫做siua的头(如图1所示),它是什么鬼?
    2.反编译APK,一路跟踪,找到了startCollection(),如图2所示。就是它了。
    3. 通过Xposed HOOK上述函数,成功获取到明文数据(如下所示)。也如图3所示。

    1.0}}MSM8974|Xiaomi|cancro_wc_lte|cancro|KTU84P|zh|CN|Xiaomi|MI 4LTE|4.4.4|19|release-keys|Xiaomi/cancro_wc_lte/cancro:4.4.4/KTU84P/99.12.4:user/release-keys|qcom|qh-miui-ota-bd58|user|cancro|armeabi-v7a|armeabi|cancro-user 4.4.4 KTU84P 99.12.4 release-keys|1|0|}}mtp,adb|mtp,adb|mtp,adb|MPSS.DI.3.0-525eb9a|Qualcomm RIL 1.0|wlan0|ABSENT||1|1|1|1|1|1|1|1|0|1|1|1}}ARMv7 Processor rev 1 (v7l)|Qualcomm MSM8974PRO-AC|4|Accelerometer|STMicroelectronics|Gravity|Qualcomm}}866500021425311|-|-|1920*1080|12GB|12GB|7c:1d:d9:76:af:f9||wifi}}-|0|-1.0|0|0||79d072a8-59fc-4ace-b45e-1b386d8de712}}0|0|0|-}}Android|com.sankuai.meituan.takeoutnew|5.12.3|19|-|2019-06-25 14:00:34:034}}0.0|0.0|KUNZHIPENG|0c:4b:54:da:bd:80|1|-46|-|-|-|}}

    我们来看看这里面包含有什么信息:
    手机品牌、型号、安卓版本号、IMEI码、WLAN的MAC地址、热点名称、热点的MAC地址(如图4所示,和路由器铭牌一致)、手机屏幕尺寸、存储空间...
    发布时间:2019-06-28 16:27:07
  • 【经验分享】如何快速从APK中获取AES秘钥和IV?
    (1)如图1所示,是通过脱壳和反编译获取到的,用时约1小时。
    (2)如图2所示,是使用Xposed + CryptoFucker勾出来的,用时10分钟。
    详细过程见 >>>  http://t.cn/Aip4E9KW ​​​​
    发布时间:2019-06-22 14:21:11
  • 【经验分享】如果动态修改Android设备的代理,如何程序化设置安卓设备的HTTP代理? >>> 详见 http://t.cn/Aip4HUaM ​​​​
    发布时间:2019-06-22 14:11:35
  • 【经验分享】美团外卖APP采集
    1. 如何根据poiId打开店铺详情页?
    adb shell am start -a android.intent.action.VIEW --el poiId 1000651254601802   -n com.sankuai.meituan.takeoutnew/.ui.poi.shop.RestaurantActivity
    效果如图1所示。

    2. 如何截获App返回的应答数据(JSON)?
    使用Xposed勾住parsejson()方法。
    效果如图2所示。
    发布时间:2019-06-20 14:03:02
  • 【经验分享】iostat -d -x -k 1查看某个硬盘的IO一直是100%,如何定位是哪个程序造成的呢? 使用sudo iotop -aoP命令即可,如图所示。 ​​​​
    发布时间:2019-05-29 18:38:49
  • 【经验分享】Apache2如何设置文件的Content-Type值?

    例如,我想给所有的*.pem证书文件,都设置Content-Type为"pplication/x-x509-ca-cert"。
    经查,可以使用ForceType指令,示例如下:

    <FilesMatch "\.pem$">
      ForceType application/x-x509-ca-cert
    </FilesMatch> ​​​​
    发布时间:2019-05-28 15:44:17
  • 【经验分享】如何使用adb检测系统是否安装了某个APP?
    如下所示,判断是否安装了抖音:
    adb shell pm list packages |grep com.ss.android.ugc.aweme ​​​​
    发布时间:2019-05-24 09:39:20
  • 【经验分享】如何破解叮当快药的签名算法? >>> http://t.cn/EoAltBU ​​​​
    发布时间:2019-05-05 17:11:14
  • 【经验分享】抖音的附近功能是根据什么定位的呢?(请求的参数中并没有找到经纬度相关的参数)  经过实测发现是根据IP地址定位的。用西安的代理IP返回的就是西安的,用苏州的代理IP返回就是苏州的,用宿迁的代理IP返回的就是宿迁的。如下截图所示。 ​​​​
    发布时间:2019-04-18 13:42:20
当前位置: 首页 > 技术文章 >
如何突破汽车之家的"CSS ::before 伪元素混淆"反采集策略
发布时间:2018-08-28 来源:未知 浏览:

分析汽车之家车型参数列表,发现页面上有部分字符在HTML源码(运行时)中却找不到,很奇怪。仔细分析,原来是通过CSS :before 伪元素加了混淆,如下图示例:

核心代码如下所示:

HTML代码:
 

CSS代码: 
.hs_kw5_configpl::before {
    content: "上市";
}

熟悉DOM操作的同学知道,可以通过元素的getPropertyValue('content')方法来获取CSS伪元素的content属性,如下是示例代码:

window.getComputedStyle(
document.querySelector('.hs_kw5_configpl'), ':before'
).getPropertyValue('content');

在Console里测试一下,你会发现很奇怪,竟然获取不到有效值(如下图所示),本应该返回"上市",却返回了"content"。

看来哪里又被动了手脚,TA是怎么做到的?

仔细分析发现一个路径包含GetModelConfig1.ashx的Aajx应答数据里含有JS代码,分析代码发现该上述SPAN元素是JS动态创建的,并发现相关可疑代码,如下所示(格式化后):

function(element, pseudoElt) {
    if (pseudoElt != undefined && typeof(pseudoElt) == 'string' && pseudoElt.toLowerCase().indexOf(':before') > -1) {
        var obj = {};
        // 重点是下面这句
        obj.getPropertyValue = function(x) {
            return x;
        };
        return obj;
    } else {
        return window.hs_fuckyou(element, pseudoElt);
    }
};

原来是getPropertyValue()方法被偷梁换柱(改写)了!难怪调用无法获取预期的值。

 

继续分析JS代码,重点看SPAN元素的动态创建的过程,其中有如下代码:

function poL_(ctw_, RXe_) {
    tPn_[\u0027\u0027 + ILC_ + iSW_ + uIo_ + pEA_ + GEv_ + Ewc_ + EPk_ + Zfo_ + sfd_ + UkX_](XZS_(ctw_) + URD_() + \u0027\"\u0027 + RXe_ + \u0027\" }\u0027, 0);
// 可以将\u0027替换成'

通过多次拦截应答修改数据(例如,修改为如下代码)测试发现,该函数的第二个参数Rxe_即为::before伪元素的content属性值,第一个参数是一个索引。

function poL_(ctw_, RXe_) {
    // 看看ctw_和Rxe_参数具体是什么
    console.log(ctw_ + '->' + RXe_));
    tPn_[\u0027\u0027 + ILC_ + iSW_ + uIo_ + pEA_ + GEv_ + Ewc_ + EPk_ + Zfo_ + sfd_ + UkX_](XZS_(ctw_) + URD_() + \u0027\"\u0027 + RXe_ + \u0027\" }\u0027, 0);

PS:拦截修改HTTP应答数据可以用Fiddler实现,也可以用mitmproxy,这里我们选择后者,因为它支持外挂Python脚本来实现数据修改功能。

如下图所示为控制台打印出的"索引->字符"映射表:

现在离成功很近了。这个索引数字具体有什么意义呢?

例如,“上市”的索引为5,上面我们看到“上市”对应SPAN元素是 ,大胆猜测,对应的就是class中的数字5。经多次验证,无误。

 

现在思路有了:

(1)通过Selenium加载页面(以自动完成数据动态加载,自动执行JS代码),并配置所有流量走mitmproxy;

(2)使用mitmproxy捕获GetModelConfig1.ashx的应答数据,找到poL_(ctw_, RXe_)函数,注入我们的JS代码,以曝出对应的"索引和混淆字符"映射表;

(3)利用该表即可还原混淆为明文;

 

需要注意的是,上述代码中的函数名(poL_)以及参数名(ctw_, RXe_)是动态变化的,但是经过多次观察发现是有规律的,通过如下方法可以定位该函数:

查找如下字符串:
'+ \u0027\" }\u0027'
定位前面出现的第一个function,即要注入的目标
例如 function poL_(ctw_, RXe_)

用正则表达式可以表述为:
r'''\s+(function\s+[^\{\}\(\)]+\(([^\{\}\(\)]+),([^\{\}\(\)]+)\)\{)[a-z\d\-\_]+\_\[.+?\+\s*\\u0027\\"\s*\}\\u0027'''

代码自动注入这里我们采用mitmproxy来实现,注入脚本modify_response.py代码如下所示:

# coding: utf-8
# modify_response.py

import re
from mitmproxy import ctx
    
def response(flow):
    """修改应答数据
    """
    if 'GetModelConfig' in flow.request.url:
        # 汽车之家字符混淆(CSS :before 伪元素)破解
        ctx.log.info('*' * 120 + '\n Found {}.'.format(flow.request.url))
        m = re.compile(r'''\s+(function\s+[^\{\}\(\)]+\(([^\{\}\(\)]+),([^\{\}\(\)]+)\)\{)[a-z\d\-\_]+\_\[.+?\+\s*\\u0027\\"\s*\}\\u0027''', re.IGNORECASE).search(flow.response.text)
        if m:
            # 提取函数名和参数
            function_name = m.groups()[0]
            param1 = m.groups()[1]
            param2 = m.groups()[2]
            ctx.log.info('Crack "CSS :before" in {}: "{}"'.format(function_name, flow.request.url))
            # 替换后的内容
            replacement = function_name + "document.body.appendChild(document.createTextNode('[' + {} + ']->{{' + {} + '}};'));".format(param1, param2)
            #replacement = function_name + "console.log({} + '->' + {});".format(param1, param2)
            flow.response.text = flow.response.text.replace(function_name, replacement)

注入成功,页面加载完毕后,在页面底部会打印出我们想要的映射表:

有了这个映射表,就可以还原出明文了,代码如下所示:

def restore_css_confusion(html):
    """还原混淆字符
    html - 要处理的HTML文档源码;
    """
    confusions = {}
    for index, string in re.compile(r'\[(\d+)\]->\{([^<>\;]+)\};').findall(html):
        confusions[index] = common.normalize(string)
    # 逐一替换
    for span, index in re.compile(r'()').findall(html):
        original_text = confusions[index]
        print 'Restore "{}" into "{}"'.format(span, original_text)
        html = html.replace(span, original_text)
    return html

还原之后就可以提取到正确的参数信息了,如下图所示:

最后,这里有个演示视频,可以看到实际的运行过程:

https://v.qq.com/x/page/e07680qdz2r.html

特别说明:该文章为鲲鹏数据原创文章 ,您除了可以发表评论外,还可以转载到别的网站,但是请保留源地址,谢谢!!(尊重他人劳动,我们共同努力)
☹ Disqus被Qiang了,之前的评论内容都没了。如果您有爬虫相关技术方面的问题,欢迎发到我们的问答平台:http://spider.site-digger.com/
QQ在线客服
欢迎咨询,点击这里给我发送消息。
欢迎咨询,点击这里给我发送消息。

加微信咨询