更多>>关于我们
西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效获取互联网任何公开可见信息。
您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。
数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。
更多>>技术文章
发布时间:2020-01-31 来源:西安鲲之鹏官微
【经验分享】利用QEMU Monitor实现程序对Qemu虚拟机的控制
背景:公司用“Qemu + Android X86”跑了大量安卓APP的爬虫,但是偶尔会出现安卓虚拟机卡死的情况,需要人工干预处理(重启对应的Qemu虚拟机)。有没有什么自动化的实现方案呢?
经过查询得知QEMU提供了Monitor机制,可以通过Monitor提供的接口对虚拟机进行控制,比如重启、修改VNC密码、状态查询等等。
(1)启动Monitor。如下示例,启动虚拟机时指定127.0.0.1:40001为monitor接口:
qemu-system-x86_64 -enable-kvm -m 4096 -smp 4 -vnc :5 -monitor tcp:127.0.0.1:40001,server,nowait -net nic,model=virtio,macaddr=00:16:3E:51:CC:88 -net bridge,br=br0 bliss.img
(2)向Monitor发送控制命令。
如下示例,利用Python socket向monitor发送虚拟机重启命令:
client = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
client.connect(('127.0.0.1', 40001))
client.send('system_reset\n')
client.close()
这样,我们就能让程序自主完成虚拟机的重启,无需人工介入。
如附图所示,是通过nc远程连接monitor接口进行的一些列操作。
PS: 'system_reset'是系统重置命令,更多的命令详见QEMU Monitor Commands文档 >>> https://qemu.weilnetz.de/doc/qemu-doc.html#pcsys_005fmonitor
除了支持TCP接口作为控制端外,QEMU Monitor还支持“标准输入输出设备”, “UnixSocket”,详见这篇文章:http://t.cn/A6PKRRNa
背景:公司用“Qemu + Android X86”跑了大量安卓APP的爬虫,但是偶尔会出现安卓虚拟机卡死的情况,需要人工干预处理(重启对应的Qemu虚拟机)。有没有什么自动化的实现方案呢?
经过查询得知QEMU提供了Monitor机制,可以通过Monitor提供的接口对虚拟机进行控制,比如重启、修改VNC密码、状态查询等等。
(1)启动Monitor。如下示例,启动虚拟机时指定127.0.0.1:40001为monitor接口:
qemu-system-x86_64 -enable-kvm -m 4096 -smp 4 -vnc :5 -monitor tcp:127.0.0.1:40001,server,nowait -net nic,model=virtio,macaddr=00:16:3E:51:CC:88 -net bridge,br=br0 bliss.img
(2)向Monitor发送控制命令。
如下示例,利用Python socket向monitor发送虚拟机重启命令:
client = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
client.connect(('127.0.0.1', 40001))
client.send('system_reset\n')
client.close()
这样,我们就能让程序自主完成虚拟机的重启,无需人工介入。
如附图所示,是通过nc远程连接monitor接口进行的一些列操作。
PS: 'system_reset'是系统重置命令,更多的命令详见QEMU Monitor Commands文档 >>> https://qemu.weilnetz.de/doc/qemu-doc.html#pcsys_005fmonitor
除了支持TCP接口作为控制端外,QEMU Monitor还支持“标准输入输出设备”, “UnixSocket”,详见这篇文章:http://t.cn/A6PKRRNa
特别说明:该文章为鲲鹏数据原创内容 ,您除了可以发表评论外,还可以转载到别的网站,但是请保留源地址,谢谢!!(尊重他人劳动,我们共同努力)
☹ Disqus被Qiang了,之前的评论内容都没了。如果您有爬虫相关技术方面的问题,欢迎发到我们的问答平台:http://spider.site-digger.com/