更多>>关于我们
西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效获取互联网任何公开可见信息。
您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。
数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。
更多>>技术文章
一、【必须】安装adb工具
adb全称Android Debug Bridge,是Android系统的调试工具。
下并安装ADB Installer v1.4.3,下载链接:http://pan.webscraping.cn:8000/index.php/s/7kDAJUOmKEa1h4N 安装完成后,启动一个新的cmd窗口,输入adb devices,若无错误提示则表明安装成功。
Ubuntu下安装adb可以参考这篇文章:http://bernaerts.dyndns.org/linux/74-ubuntu/354-ubuntu-xenial-android-adb-fastboot-qtadb)
二、【可选】安装UI Automator Viewer辅助工具
为了使用UI Automator Viewer这个辅助分析工具,我们需要先安装Android SDK,步骤如下:
1. 下载并安装Java 8
2. 下载并安装Google Android SDK
3. 启动Android SDK Manager,选择并安装Android SDK Platform-tools.
4. 双击uiautomatorviewer.bat,启动UI Automator Viewer,点击第二个图标获取设备截图及相关UI信息,如下图所示。
三、【主角】AndroidViewClient
AndroidViewClient是用纯Python编写的Android应用程序自动测试框架,它不依赖其它程序(例如 monkeyrunner, jython)。AndroidViewClient在底层是通过调用adb命令实现对Android设备的控制,因此在本文的一开始就先介绍了adb的安装。
开始下文之前,假设你已经安装配置好Python运行环境,否则请先安装Python 2.7(注意:AndroidViewClient不兼容Python3)。
1. 安装AndroidViewClient
项目主页:https://github.com/dtmilano/AndroidViewClient
推荐用easy_install安装:
easy_install --upgrade androidviewclient
安装详细说明见这里:https://github.com/dtmilano/AndroidViewClient/wiki#installation
PS:依赖库比较多,安装需要有点耐心。
2. 测试安装是否成功
下载https://github.com/dtmilano/AndroidViewClient/archive/master.zip包,解压并切换到examples目录下,执行python check-import.py,如果没有问题,会输出OK。
3. 写一个例子
实现这样一个功能:
点击屏幕微信图标启动微信,点击第一个联系人/群,发送一个报时消息。
代码如下:
# coding: utf-8 # 点击屏幕微信图标启动微信,点击第一个联系人/群,发送一个报时消息 import sys import os import re import time from com.dtmilano.android.viewclient import ViewClient def test(): # 连接手机 device, serialno = ViewClient.connectToDeviceOrExit() vc = ViewClient(device, serialno) # 按HOME键 device.press('KEYCODE_HOME') time.sleep(3) # 找到微信图标 vc.dump() weixin_button = vc.findViewWithTextOrRaise(u'微信') # 点击微信图标 weixin_button.touch() time.sleep(10) # 找到第一个联系人/群 # 可以使用UI Automator Viewer查看到对应第一个联系人/群的resource-id为"com.tencent.mm:id/auj" vc.dump() group_button = vc.findViewByIdOrRaise("com.tencent.mm:id/auj") # 点击进群 group_button.touch() time.sleep(5) # 找到输入框并输入当前时间 vc.dump() vc.findViewByIdOrRaise("com.tencent.mm:id/aep").setText('Now:{}'.format(time.strftime('%Y-%m-%d %H:%M:%S'))) time.sleep(3) # 点击发送按钮 vc.dump() vc.findViewWithTextOrRaise(u'发送').touch() if __name__ == '__main__': test()
4. 高级用法:Culebra的使用
Culebra可以帮助我们自动生成(录制)AndroidViewClient脚本。它提供了一个GUI,当我们通过GUI上操作手机,就会自动产生AndroidViewClient控制脚本模板,我们可以再在这个模板脚本基础上进行修改,实现更复杂的功能。Culebra的详细说明见其主页:https://github.com/dtmilano/AndroidViewClient/wiki/culebra
我们来做一个测试,录制一个”点击微信聊天文字输入框,然后输入一段文本test"操作的脚本: 首先启动Culebra(culebra文件位于AndroidViewClient包的tools目录下,我把后缀名改成.py了),命令如下:
python culebra.py -G --scale 0.5
如下所示为完成操作之后的Culebra的GUI截图:
下面为Culebra自动录制的脚本:
#! /usr/bin/env python # -*- coding: utf-8 -*- import reimport sys import os from com.dtmilano.android.viewclient import ViewClient TAG = 'CULEBRA' _s = 5 _v = '--verbose' in sys.argv kwargs1 = {'ignoreversioncheck': False, 'verbose': False, 'ignoresecuredevice': False} device, serialno = ViewClient.connectToDeviceOrExit(**kwargs1) kwargs2 = {'forceviewserveruse': False, 'useuiautomatorhelper': False, 'ignoreuiautomatorkilled': True, 'autodump': False, 'debug': {}, 'startviewserver': True, 'compresseddump': True} vc = ViewClient(device, serialno, **kwargs2) #vc.dump(window='-1') # FIXME: seems not needed vc.dump(window=-1) no_id1 = vc.findViewByIdOrRaise("id/no_id/1") no_id1 = vc.findViewWithContentDescriptionOrRaise(u'''当前所在页面,与家好月圆(19)的聊天''') com_tencent_mm___id_ds5 = vc.findViewByIdOrRaise("com.tencent.mm:id/ds5") com_tencent_mm___id_cgo = vc.findViewByIdOrRaise("com.tencent.mm:id/cgo") com_tencent_mm___id_ts = vc.findViewByIdOrRaise("com.tencent.mm:id/ts") com_tencent_mm___id_iz = vc.findViewByIdOrRaise("com.tencent.mm:id/iz") com_tencent_mm___id_j0 = vc.findViewByIdOrRaise("com.tencent.mm:id/j0") com_tencent_mm___id_j0 = vc.findViewWithContentDescriptionOrRaise(u'''返回''') com_tencent_mm___id_j1 = vc.findViewByIdOrRaise("com.tencent.mm:id/j1") com_tencent_mm___id_j1 = vc.findViewWithTextOrRaise(u'家好月圆(19)') com_tencent_mm___id_iw = vc.findViewByIdOrRaise("com.tencent.mm:id/iw") com_tencent_mm___id_iw = vc.findViewWithContentDescriptionOrRaise(u'''聊天信息''') no_id9 = vc.findViewByIdOrRaise("id/no_id/9") no_id10 = vc.findViewByIdOrRaise("id/no_id/10") com_tencent_mm___id_lz = vc.findViewByIdOrRaise("com.tencent.mm:id/lz") no_id12 = vc.findViewByIdOrRaise("id/no_id/12") # ...... # 省略多行类似代码 # ...... com_tencent_mm___id_aen = vc.findViewWithContentDescriptionOrRaise(u'''切换到按住说话''') com_tencent_mm___id_aeo = vc.findViewByIdOrRaise("com.tencent.mm:id/aeo") com_tencent_mm___id_aep = vc.findViewByIdOrRaise("com.tencent.mm:id/aep") com_tencent_mm___id_aer = vc.findViewByIdOrRaise("com.tencent.mm:id/aer") com_tencent_mm___id_aer = vc.findViewWithContentDescriptionOrRaise(u'''表情''') com_tencent_mm___id_aeu = vc.findViewByIdOrRaise("com.tencent.mm:id/aeu") com_tencent_mm___id_aeu = vc.findViewWithContentDescriptionOrRaise(u'''更多功能按钮,已折叠''') vc.findViewByIdOrRaise("com.tencent.mm:id/aep").setText(u"test") vc.sleep(_s) vc.dump(window=-1)
在相同窗口环境下执行该脚本就可以自动重复上述操作。
四、参考资料
- adb获取android手机系统版本,已对应的api版本和硬件相关信息 https://blog.csdn.net/l_vaule/article/details/79866396
- Linux下adb devices找不到设备解决方法 https://blog.csdn.net/qq_34452829/article/details/54016865
- Meizu MX4 Ubuntu edition not mounting as USB drive and not available to adb https://askubuntu.com/questions/632444/meizu-mx4-ubuntu-edition-not-mounting-as-usb-drive-and-not-available-to-adb
- How to Install, Setup and Use AndroidViewClient on Windows https://www.darpandodiya.com/code/setup-androidviewclient-windows/
- ADB Shell Input Events https://stackoverflow.com/questions/7789826/adb-shell-input-events
- 如何使用adb发送(输入)中文字符 https://github.com/senzhk/ADBKeyBoard https://stackoverflow.com/questions/14224549/adb-shell-input-unicode-character
- Contact Android Debug Bridge (adb) Wireless Debugging Over Wi-Fi http://codetheory.in/android-debug-bridge-adb-wireless-debugging-over-wi-fi/ https://www.jianshu.com/p/825e528a8311