更多>>关于我们
西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web（网站）数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构，日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池，可以有效获取互联网任何公开可见信息。
您只需告诉我们您想抓取的网站是什么，您感兴趣的字段有哪些，你需要的数据是哪种格式，我们将为您做所有的工作，最后把数据（或程序）交付给你。
数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。
更多>>技术文章
更多>>官方微博
-
【经验分享】QEMU/KVM如何修改开机启动顺序？
virsh edit name-of-vm-instance
如下示例：
<os> <type arch='x86_64' machine='pc-i440fx-xenial'>hvm</type> <boot dev="network"></boot> <boot dev="cdrom"></boot> <boot dev="hd"></boot> <bootmenu enable='yes'/> </os>bootmenu的enable设置为yes，就可以在启动的时候按F12选择启动设备。
发布时间：2024-03-12 11:51:28
-
【经验分享】使用VNC远程连接KVM虚拟机，鼠标不同步而且偏移很大（想砸掉鼠标冲动的那种）问题解决：
（1）编辑虚拟机配置文件，例如sudo virsh edit win10_1，然后将<input type="mouse" bus="ps2" />修改为<input type="tablet" bus="usb" /> 。
（2）强制关闭虚拟机win10_1然后重启，问题解决。发布时间：2024-03-13 09:26:51
-
【经验分享】Frida里Java.choose找到某个类的实例，在调用该实例方法时出现“script should be invoke on MainThread”问题的解决：
// Assign the javascript code to a variable.
jsCode = """
// Create a method called Cheese that will be exported.
function Cheese()
{
// Perform the code from injected context.
Java.perform(function ()
{
// Variable to store the view representing the button
// to click programmatically.
var view;
// Define the Runnable type javascript wrapper.
var Runnable = Java.use("java.lang.Runnable");
// Find the MainActivity class in myApp.
Java.choose("com.example.myApp.MainActivity",
{
// Once it has been found execute the following code.
onMatch: function(instance)
{
// Get the view representing button to click.
// 2131436712 id derived from decompiling app.
view = instance.findViewById(2131436712);
// Define a new class that implements Runnable and provide
// the implementation of the run() method which, will
// execute from the Main thread.
const MyRunnable = Java.registerClass({
name:'com.example.MyRunnable',
implements: [Runnable],
methods: {
// run executes button click.
run(){
instance.onClick(view);
},
}
});
// Create an instance of the class just created.
var MyGuiUpdate = MyRunnable .$new();
// Schedule the run method in MyGuiUpdate to
// execute on the UI thread.
instance.runOnUiThread(MyGuiUpdate );
},
onComplete:function(){}
});
解决方法来源：https://stackoverflow.com/questions/65790594/calling-an-api-to-modify-an-apps-gui-from-non-main-thread-in-frida发布时间：2024-02-23 13:00:33
-
【经验分享】Frida script中如何给Java的Long类型变量赋值？
例如，某Java类中有如下Long类型变量定义：
/* renamed from: e */
public Long f90137e;
尝试修改e的值，依次做如下测试：
（1）classObj.e.value = 1978705204; 会报"Error: Expected value compatible with java.lang.Long"错误。
（2）classObj.e.value = Java.use('java.lang.Long').parseLong.overload('java.lang.String').call(Java.use('java.lang.Long'), "1978705204");依然会报上述错误。
（3）这个方法可以成功赋值：classObj.e.value = Java.use('java.lang.Long').$new(1978705204);发布时间：2024-02-21 21:45:47
-
【经验分享】miller使用filter查询条件，当遇到字段含有空格或者其它特殊字符时怎么处理？如下示例中某个字段含有点号，直接查询会报错。解决方法如下：
示例：mlr --icsv --oxtab --from mouser_products_202312.csv filter '${Mfr.}=~"TDK" || ${Brand}=~"TDK"' then count
使用Pandas时，也有类似问题，解决方法：
df[df['Brand'].str.contains("TDK")|df['Mfr.'].str.contains("TDK")]
另外，Stackoverflow（https://stackoverflow.com/questions/50697536/pandas-query-function-not-working-with-spaces-in-column-names）上有人说可以用`字段`将字段包裹起来，例如：a.query('`a b` == 5') ，但是需要Pandas是0.25版本，我机器上是0.24.2，测试没有效果。发布时间：2024-02-21 19:01:04
-
【经验分享】今天本地windows系统adb shell突然报错"error: unknown host service"，尝试"adb kill-server"、甚至重启PC和手机均不起作用。后来网上查了下，说是PC端adb的后台服务进程的5037端口被其它程序占用了。
解决方法：使用netstat -ano找到并关闭占有者进程，问题解决。 发布时间：2024-02-21 18:55:05
-
【经验分享】PPPOE认证返回“User Locked”，可能是因为MAC被拉黑了，换一个就好了。
发布时间：2024-01-16 13:00:17
-
【经验分享】Linux如何限制一个命令的运行时长？可以使用timeout命令。
例如，限制ping最多运行10秒，可以这样:
timeout 10s ping www.baidu.com 发布时间：2024-01-12 12:11:50
-
【经验分享】Playwright库使用context.route()/page.route()过滤HTTP(S)请求时发现有Ajax漏包的情况。查官方文档，发现有云：
browser_context.route() will not intercept requests intercepted by Service Worker. See this issue. We recommend disabling Service Workers when using request interception by setting browser.new_context.service_workers to 'block'.
尝试：
context = browser.new_context(service_workers='block')
问题解决。
参考1：https://playwright.dev/python/docs/api/class-browsercontext#browser-context-route
参考2：https://github.com/microsoft/playwright/issues/15684发布时间：2024-01-10 11:56:20
-
【经验分享】Python fontTools 获取字体文件的字形名称列表，遇到"smile", "question", "space"等AGL名称，如何将其转为Unicode代码？
>>>import fontTools
>>>hex(fontTools.agl.AGL2UV['smileface'])
'0x263a'
参考：https://fonttools.readthedocs.io/en/latest/_modules/fontTools/agl.html 发布时间：2023-10-12 10:58:26
近日我司技术人员在爬取一HTTPS网站（网址为：https://kaoshibb.com/）时遇到了一个奇怪的问题，在相同环境下，获取别的HTTPS URL正常，但是获取该网站URL（e.g. https://kaoshibb.com/api/wx1/textbookIndex?token=gdptuuOAEkfy7nCt&key=137276 )时，却始终返回Errno 104错误。如下图所示，是用urllib2测试的结果（测试环境：系统版本 - Ubuntu 14.04, Python版本 - 2.7.6 ）。
换用requests库测试，问题依旧（也是104错误），如下图所示。
起初怀疑是由于该网站SSL仅支持TLSv1引起的（以前曾遇到过这种问题），之前我们曾介绍过“Python中连接HTTPS网站如何强制使用TLSv1协议”（http://www.site-digger.com/html/articles/20151117/105.html）解决方案,但是测试该方案问题依旧。
奇怪的是使用curl却可以正确拿到数据，测试（curl -v "https://kaoshibb.com/api/wx1/textbookIndex?token=gdptuuOAEkfy7nCt&key=137276"）如下图所示。开始怀疑难道是Python的Bug?!
换用openssl测试（openssl s_client -connect kaoshibb.com:443），依然是返回104错误，如下所示：
~$ openssl s_client -connect kaoshibb.com:443 CONNECTED(00000003) write:errno=104 --- no peer certificate available --- No client certificate CA names sent --- SSL handshake has read 0 bytes and written 295 bytes --- New, (NONE), Cipher is (NONE) Secure Renegotiation IS NOT supported Compression: NONE Expansion: NONE ---
在Stackoverflow搜索“openssl error=104”，看到有人遇到类似的情况，并告知通过添加SNI可以解决问题（https://stackoverflow.com/questions/24457408/openssl-command-to-check-if-a-server-is-presenting-a-certificate 如下图所示）。
于是乎加上-servername kaoshibb.com参数再次测试（完整命令：openssl s_client -connect kaoshibb.com:443 -servername kaoshibb.com），这次成功建立了TLS连接，没有再出现104错误。
看来，就是因为缺少这个SNI引起的。什么是SNI （Server Name Indication）呢？这里解释的比较清楚（https://cheapsslsecurity.com/blog/simplified-what-is-sni-server-name-indication-how-does-it-work/），有了SNI的存在，使得在同一个IP地址和TCP端口（443）下，能够同时支持多个HTTPS网站，而且每个网站使用不同的证书（想象下两个HTTPS网站架设在同一个服务器的场景），即“一个IP多个证书”。客户端通过SNI告知服务器端要与哪个虚拟主机建立加密连接。
那curl为什么能正常呢？难道是因为它会自动添加SNI（servername）？ 搜索“curl tls SNI”找到了答案（https://security.stackexchange.com/questions/171314/do-browsers-and-tools-send-sni-field-by-default-connecting-to-https-endpoints），果然如此：”curl和现在的浏览器都支持并默认使用SNI“。
PS：另据资料显示（https://stackoverflow.com/questions/12941703/use-curl-with-sni-server-name-indication），curl 7.18.1 & OpenSSL 0.9.8 及其以上版本才支持SNI，我测试的环境下curl版本为7.35.0。
现在再回到一开始的问题上，python urllib2 与 kaoshibb.com:443建立TLS连接出现104错误。现在可以推测，应该也是urllib2不支持SNI造成的。谷歌”python urllib2 sni“找到Python issue5639（https://bugs.python.org/issue5639），阅后得知pep-466（https://www.python.org/dev/peps/pep-0466/ PEP 466 -- Network Security Enhancements for Python 2.7.x）已经修复了这个问题。
既然知道了这是Python的Bug，并且后续版本已经修复了这个问题，那就好办了，果断升级到最新的Python 2.7.14版本，问题解决。
再次测试，结果如下：
还有一个问题，为什么老版本的Python urllib2访问其它HTTPS网站都是正常的呢？一个巴掌拍不响，大多数SSL服务端是不会验证SNI的（一个IP一个证书情况下服务端没必要开启SNI），所以即便客户端没有发拍不响I也能正常建立TLS连接。碰巧遇到这个网站（https://kaoshibb.com/）验证SNI而客户端(Python2.1.6 ssl)恰巧不支持SNI。