更多>>关于我们
西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web（网站）数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构，日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池，可以有效获取互联网任何公开可见信息。
您只需告诉我们您想抓取的网站是什么，您感兴趣的字段有哪些，你需要的数据是哪种格式，我们将为您做所有的工作，最后把数据（或程序）交付给你。
数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。
更多>>技术文章
更多>>官方微博
-
【经验分享】QEMU/KVM如何修改开机启动顺序？
virsh edit name-of-vm-instance
如下示例：
<os> <type arch='x86_64' machine='pc-i440fx-xenial'>hvm</type> <boot dev="network"></boot> <boot dev="cdrom"></boot> <boot dev="hd"></boot> <bootmenu enable='yes'/> </os>bootmenu的enable设置为yes，就可以在启动的时候按F12选择启动设备。
发布时间：2024-03-12 11:51:28
-
【经验分享】使用VNC远程连接KVM虚拟机，鼠标不同步而且偏移很大（想砸掉鼠标冲动的那种）问题解决：
（1）编辑虚拟机配置文件，例如sudo virsh edit win10_1，然后将<input type="mouse" bus="ps2" />修改为<input type="tablet" bus="usb" /> 。
（2）强制关闭虚拟机win10_1然后重启，问题解决。发布时间：2024-03-13 09:26:51
-
【经验分享】Frida里Java.choose找到某个类的实例，在调用该实例方法时出现“script should be invoke on MainThread”问题的解决：
// Assign the javascript code to a variable.
jsCode = """
// Create a method called Cheese that will be exported.
function Cheese()
{
// Perform the code from injected context.
Java.perform(function ()
{
// Variable to store the view representing the button
// to click programmatically.
var view;
// Define the Runnable type javascript wrapper.
var Runnable = Java.use("java.lang.Runnable");
// Find the MainActivity class in myApp.
Java.choose("com.example.myApp.MainActivity",
{
// Once it has been found execute the following code.
onMatch: function(instance)
{
// Get the view representing button to click.
// 2131436712 id derived from decompiling app.
view = instance.findViewById(2131436712);
// Define a new class that implements Runnable and provide
// the implementation of the run() method which, will
// execute from the Main thread.
const MyRunnable = Java.registerClass({
name:'com.example.MyRunnable',
implements: [Runnable],
methods: {
// run executes button click.
run(){
instance.onClick(view);
},
}
});
// Create an instance of the class just created.
var MyGuiUpdate = MyRunnable .$new();
// Schedule the run method in MyGuiUpdate to
// execute on the UI thread.
instance.runOnUiThread(MyGuiUpdate );
},
onComplete:function(){}
});
解决方法来源：https://stackoverflow.com/questions/65790594/calling-an-api-to-modify-an-apps-gui-from-non-main-thread-in-frida发布时间：2024-02-23 13:00:33
-
【经验分享】Frida script中如何给Java的Long类型变量赋值？
例如，某Java类中有如下Long类型变量定义：
/* renamed from: e */
public Long f90137e;
尝试修改e的值，依次做如下测试：
（1）classObj.e.value = 1978705204; 会报"Error: Expected value compatible with java.lang.Long"错误。
（2）classObj.e.value = Java.use('java.lang.Long').parseLong.overload('java.lang.String').call(Java.use('java.lang.Long'), "1978705204");依然会报上述错误。
（3）这个方法可以成功赋值：classObj.e.value = Java.use('java.lang.Long').$new(1978705204);发布时间：2024-02-21 21:45:47
-
【经验分享】miller使用filter查询条件，当遇到字段含有空格或者其它特殊字符时怎么处理？如下示例中某个字段含有点号，直接查询会报错。解决方法如下：
示例：mlr --icsv --oxtab --from mouser_products_202312.csv filter '${Mfr.}=~"TDK" || ${Brand}=~"TDK"' then count
使用Pandas时，也有类似问题，解决方法：
df[df['Brand'].str.contains("TDK")|df['Mfr.'].str.contains("TDK")]
另外，Stackoverflow（https://stackoverflow.com/questions/50697536/pandas-query-function-not-working-with-spaces-in-column-names）上有人说可以用`字段`将字段包裹起来，例如：a.query('`a b` == 5') ，但是需要Pandas是0.25版本，我机器上是0.24.2，测试没有效果。发布时间：2024-02-21 19:01:04
-
【经验分享】今天本地windows系统adb shell突然报错"error: unknown host service"，尝试"adb kill-server"、甚至重启PC和手机均不起作用。后来网上查了下，说是PC端adb的后台服务进程的5037端口被其它程序占用了。
解决方法：使用netstat -ano找到并关闭占有者进程，问题解决。 发布时间：2024-02-21 18:55:05
-
【经验分享】PPPOE认证返回“User Locked”，可能是因为MAC被拉黑了，换一个就好了。
发布时间：2024-01-16 13:00:17
-
【经验分享】Linux如何限制一个命令的运行时长？可以使用timeout命令。
例如，限制ping最多运行10秒，可以这样:
timeout 10s ping www.baidu.com 发布时间：2024-01-12 12:11:50
-
【经验分享】Playwright库使用context.route()/page.route()过滤HTTP(S)请求时发现有Ajax漏包的情况。查官方文档，发现有云：
browser_context.route() will not intercept requests intercepted by Service Worker. See this issue. We recommend disabling Service Workers when using request interception by setting browser.new_context.service_workers to 'block'.
尝试：
context = browser.new_context(service_workers='block')
问题解决。
参考1：https://playwright.dev/python/docs/api/class-browsercontext#browser-context-route
参考2：https://github.com/microsoft/playwright/issues/15684发布时间：2024-01-10 11:56:20
-
【经验分享】Python fontTools 获取字体文件的字形名称列表，遇到"smile", "question", "space"等AGL名称，如何将其转为Unicode代码？
>>>import fontTools
>>>hex(fontTools.agl.AGL2UV['smileface'])
'0x263a'
参考：https://fonttools.readthedocs.io/en/latest/_modules/fontTools/agl.html 发布时间：2023-10-12 10:58:26
如何采集抖音的数据
发布时间：2019-05-28
抖音App和服务端交互使用的是HTTPS协议，使用Fiddler很容易可以捕获到数据，如下图所示。
不过想要自己模拟一个有效的请求可不是那么容易了，因为它使用了签名机制，在所有请求中都有as和cp两个签名参数，除非得知签名算法否则我们无法构造出有效的请求。
这里我们使用模拟操作抖音App的方式，让App帮我们发出有效的请求，然后我们拦截服务器的HTTP应答数据，再从中提取我们感兴趣的信息。
下面结合一个实际的案例介绍下整个过程，根据客户的需求，要采集一些指定用户加关后的系统推荐“你可能感兴趣”的数据（如下图所示）用于商品营销。
点击“查看更多”可以看到更多的系统推荐用户列表数据，如下图所示。
我们按如下步骤模拟操作App：
1.启动抖音。
2.点击搜索按钮。
3.输入搜索关键词（抖音用户ID），点击搜索。
4.找到匹配的用户，点击关注。
5.点击系统推荐“查看更多”，模拟多次向上滑动屏幕，直至数据加载完毕（屏幕出现“暂时没有更多了”）。
于此同时，我们使用抓包脚本（可以使用Fiddler的Customize Rules，也可以使用Mitmproxy），捕获并过滤URL中含有/user/recommend/的HTTP应答数据，从JSON数据中提取系统推荐的用户信息（如下图所示）。
模拟操作抖音App的脚本核心代码如下所示：
from com.dtmilano.android.viewclient import ViewClient
def search_douyin_for_recommend_user(douyin_id):
"""采集指定抖音账号的关注推荐数据
"""
log(u'准备采集"{}"对应的关注推荐数据'.format(douyin_id))
# 连设备
serialno = None
if serialno:
os.system('adb connect {}'.format(serialno or ''))
time.sleep(3)
device, serialno = ViewClient.connectToDeviceOrExit(serialno=serialno)
vc = ViewClient(device, serialno, autodump=False)
# 强制关闭抖音
log(u'强制关闭抖音.')
device.shell('am force-stop com.ss.android.ugc.aweme')
time.sleep(2)
# 启动抖音
log(u'启动抖音.')
device.shell('am start -n com.ss.android.ugc.aweme/.main.MainActivity')
time.sleep(5)
# 暂停视频播放
log(u'点击屏幕，暂停视频播放.')
device.touch(514, 1048)
# 点击搜索按钮
vc.dump()
search_btn = vc.findViewById('com.ss.android.ugc.aweme:id/amj')
if search_btn:
log(u'点击搜索按钮，跳转到搜索页面.')
search_btn.touch()
vc.dump()
# 点击搜索输入框
search_input = vc.findViewById('com.ss.android.ugc.aweme:id/ad_')
if search_input:
log(u'点击搜索框，准备输入关键词.')
search_input.touch()
# 输入抖音ID
log(u'输入搜索关键词: {}.'.format(douyin_id))
device.type(douyin_id.encode('UTF-8'))
# 点击搜索按钮
search_btn = vc.findViewById('com.ss.android.ugc.aweme:id/cp8')
if search_btn:
log(u'提交搜索.')
search_btn.touch()
time.sleep(2)
vc.dump()
## 切换到用户
#user_tab = vc.findViewWithText(u'用户')
#user_tab.touch()
# 找到匹配的
matches = []
def find_matches(view):
if view.getClass() == 'android.widget.TextView':
text = view.getText()
if douyin_id.lower() in text.lower():
# 找到匹配的了
log(u'找到匹配的: {}'.format(text))
matches.append(view)
else:
#print text
pass
vc.traverse(transform=lambda view: find_matches(view))
if matches:
# 有没有已关注按钮
btn = vc.findViewWithText(u'已关注')
if btn:
# 先取消关注
log(u'之前关注过，先取消关注.')
btn.touch()
time.sleep(1)
user_matched = matches[0]
log(u'点击进入个人主页.')
user_matched.touch()
time.sleep(1)
# 点关注
vc.dump()
follow_btn = vc.findViewById('com.ss.android.ugc.aweme:id/aei')
if follow_btn:
# 点击关注
log(u'点击关注')
follow_btn.touch()
time.sleep(1)
# 点击查看更多
vc.dump()
viewmore_btn = vc.findViewById('com.ss.android.ugc.aweme:id/bqn')
if viewmore_btn:
# 点击查看更多
log(u'点击查看更多系统推荐')
viewmore_btn.touch()
time.sleep(1)
i = 0
while True:
# 上滑动
device.drag((345, 1762), (345, 550), duration=100)
log(u'上滑以加载更多')
i += 1
if i % 5 == 0:
# 拖动10次判断一下是否还有更多
vc.dump()
if vc.findViewWithText(u'暂时没有更多了'):
log(u'暂时没有更多了, "{}"的关注推荐数据采集完毕.'.format(douyin_id))
# 采集成功了
return True
failed_tip = vc.findViewWithText(u'加载失败，点击重试')
if failed_tip:
log(u'加载失败,点击重试.')
failed_tip.touch()
else:
# 没有找到查看更多按钮
log(u'没有找到查看更多按钮')
else:
# 没有找到加关注按钮
log(u'没有找到加关注按钮')
else:
# 没有找到匹配的用户
log(u'没有找到匹配的用户')
else:
# 没有找到搜索提交按钮
log(u'没有找到搜索提交按钮.')
else:
# 没有找到搜索输入框
log(u'没有找到搜索输入框.')
else:
# 没有找到搜索按钮
log(u'没有找到搜索按钮.')
上述脚本的运行截图如下所示：
最后附上抓取到的部分示例数据：
http://db.site-digger.com/csv/646f7579696e5f757365725f7265636f6d6d656e645f73616d706c65/
特别说明：本文旨在技术交流，请勿将涉及的技术用于非法用途，否则一切后果自负。如果您觉得我们侵犯了您的合法权益，请联系我们予以处理。
☹ Disqus被Qiang了，之前所有的评论内容都看不到了。如果您有爬虫相关技术方面的问题，欢迎发到我们的问答平台：http://spider.site-digger.com/