更多>>关于我们

西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效获取互联网任何公开可见信息。

您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。

数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。

更多>>官方微博

西安鲲之鹏
陕西 西安

加关注

  • 【经验分享】QEMU/KVM如何修改开机启动顺序?
    virsh edit name-of-vm-instance
    如下示例:
     <os>
        <type arch='x86_64' machine='pc-i440fx-xenial'>hvm</type>
        <boot dev="network"></boot>
        <boot dev="cdrom"></boot>
        <boot dev="hd"></boot>
        <bootmenu enable='yes'/>
      </os>
    
    bootmenu的enable设置为yes,就可以在启动的时候按F12选择启动设备。
    •  
    发布时间:2024-03-12 11:51:28
  • 【经验分享】使用VNC远程连接KVM虚拟机,鼠标不同步而且偏移很大(想砸掉鼠标冲动的那种)问题解决:
    (1)编辑虚拟机配置文件,例如sudo virsh edit win10_1,然后将<input type="mouse" bus="ps2" />修改为<input type="tablet" bus="usb" /> 。
    (2)强制关闭虚拟机win10_1然后重启,问题解决。
    发布时间:2024-03-13 09:26:51
  • 【经验分享】Frida里Java.choose找到某个类的实例,在调用该实例方法时出现“script should be invoke on MainThread”问题的解决:

    // Assign the javascript code to a variable.
    jsCode = """
    // Create a method called Cheese that will be exported.
    function Cheese()
    {
    // Perform the code from injected context.
    Java.perform(function ()
    {
    // Variable to store the view representing the button
    // to click programmatically.
    var view;
    // Define the Runnable type javascript wrapper.
    var Runnable = Java.use("java.lang.Runnable");

    // Find the MainActivity class in myApp.
    Java.choose("com.example.myApp.MainActivity",
    {
    // Once it has been found execute the following code.
    onMatch: function(instance)
    {
    // Get the view representing button to click.
    // 2131436712 id derived from decompiling app.
    view = instance.findViewById(2131436712);
    // Define a new class that implements Runnable and provide
    // the implementation of the run() method which, will
    // execute from the Main thread.
    const MyRunnable = Java.registerClass({
    name:'com.example.MyRunnable',
    implements: [Runnable],
    methods: {
    // run executes button click.
    run(){
    instance.onClick(view);
    },
    }
    });

    // Create an instance of the class just created.
    var MyGuiUpdate = MyRunnable .$new();
    // Schedule the run method in MyGuiUpdate to
    // execute on the UI thread.
    instance.runOnUiThread(MyGuiUpdate );

    },
    onComplete:function(){}
    });
    解决方法来源:https://stackoverflow.com/questions/65790594/calling-an-api-to-modify-an-apps-gui-from-non-main-thread-in-frida
    发布时间:2024-02-23 13:00:33
  • 【经验分享】Frida script中如何给Java的Long类型变量赋值?
    例如,某Java类中有如下Long类型变量定义:
    /* renamed from: e */
    public Long f90137e;

    尝试修改e的值,依次做如下测试:
    (1)classObj.e.value = 1978705204; 会报"Error: Expected value compatible with java.lang.Long"错误。
    (2)classObj.e.value = Java.use('java.lang.Long').parseLong.overload('java.lang.String').call(Java.use('java.lang.Long'), "1978705204");依然会报上述错误。
    (3)这个方法可以成功赋值:classObj.e.value = Java.use('java.lang.Long').$new(1978705204);
    发布时间:2024-02-21 21:45:47
  • 【经验分享】miller使用filter查询条件,当遇到字段含有空格或者其它特殊字符时怎么处理?如下示例中某个字段含有点号,直接查询会报错。解决方法如下:

    示例:mlr --icsv --oxtab --from mouser_products_202312.csv filter '${Mfr.}=~"TDK" || ${Brand}=~"TDK"' then count

    使用Pandas时,也有类似问题,解决方法:
    df[df['Brand'].str.contains("TDK")|df['Mfr.'].str.contains("TDK")]
    另外,Stackoverflow(https://stackoverflow.com/questions/50697536/pandas-query-function-not-working-with-spaces-in-column-names)上有人说可以用`字段`将字段包裹起来,例如:a.query('`a b` == 5') ,但是需要Pandas是0.25版本,我机器上是0.24.2,测试没有效果。
    发布时间:2024-02-21 19:01:04
  • 【经验分享】今天本地windows系统adb shell突然报错"error: unknown host service",尝试"adb kill-server"、甚至重启PC和手机均不起作用。后来网上查了下,说是PC端adb的后台服务进程的5037端口被其它程序占用了。

    解决方法:使用netstat -ano找到并关闭占有者进程,问题解决。 ​​​
    发布时间:2024-02-21 18:55:05
  • 【经验分享】PPPOE认证返回“User Locked”,可能是因为MAC被拉黑了,换一个就好了。 ​​​
    发布时间:2024-01-16 13:00:17
  • 【经验分享】Linux如何限制一个命令的运行时长?可以使用timeout命令。
    例如,限制ping最多运行10秒,可以这样:
    timeout 10s ping www.baidu.com ​​​
    发布时间:2024-01-12 12:11:50
  • 【经验分享】Playwright库使用context.route()/page.route()过滤HTTP(S)请求时发现有Ajax漏包的情况。查官方文档,发现有云:
    browser_context.route() will not intercept requests intercepted by Service Worker. See this issue. We recommend disabling Service Workers when using request interception by setting browser.new_context.service_workers to 'block'.

    尝试:
    context = browser.new_context(service_workers='block')
    问题解决。

    参考1:https://playwright.dev/python/docs/api/class-browsercontext#browser-context-route
    参考2:https://github.com/microsoft/playwright/issues/15684
    发布时间:2024-01-10 11:56:20
  • 【经验分享】Python fontTools 获取字体文件的字形名称列表,遇到"smile", "question", "space"等AGL名称,如何将其转为Unicode代码?

    >>>import fontTools
    >>>hex(fontTools.agl.AGL2UV['smileface'])
    '0x263a'

    参考:https://fonttools.readthedocs.io/en/latest/_modules/fontTools/agl.html ​​​
    发布时间:2023-10-12 10:58:26
当前位置: 首页 > 公司微博 >
  • 西安鲲之鹏

    发布时间:2022-03-02 14:10:17
    【经验分享】taskkill终止进程出现“拒绝访问”如何解决?
    试试 wmic process where name='NemuPlayer.exe' delete
    效果如附图所示。 ​​​

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2022-02-23 16:43:43
    【经验分享】miller如何按“日期时间”类型比较(过滤)某个字段的值
    如下示例:
    查询统计“土地市场网土地供应结果公告数据”(csv格式)中,山东省在2010年1月1日之后的数据有多少条?
    mlr --c2j --from landchina-jggg_19980101_20211231_with_coordinates_UTF8.csv filter 'strptime($合同签订日期,"%Y-%m-%d") >= strptime("2010-01-01","%Y-%m-%d") && $省=~"山东"' then count
    结果如附图1所示。
    参考文档:https://miller.readthedocs.io/en/latest/date-time-examples/#how-can-i-filter-by-date

    mlr查询的结果和如下用pandas查询的结果是一致的(如附图2所示)。注意:pandas在read_csv()的时候,要指定parse_dates=['合同签订日期'],将该字段类型转为时间日期类型。参考文档:https://www.cnblogs.com/traditional/p/12514914.html
    df.query('xingzhengqu.str.contains("广东") or province.str.contains("广东")')

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2022-02-17 15:50:00
    【经验分享】Ubuntu下如何创建带有vlan id的虚拟网口?
    示例:
    # 建立名为vlan1的虚拟网口,设置对应的vlan id为101
    sudo ip link add link eth1 address 00:0c:29:39:e4:7e vlan101 type vlan id 101
    # 激活这个网口
    sudo ip link set vlan101 up

    如何查看已有网口的vlan id?
    使用"ip -d link"命令,如下图所示。

    参考资料>>> https://access.redhat.com/documentation/zh-cn/red_hat_enterprise_linux/7/html/networking_guide/sec-configure_802_1q_vlan_tagging_using_the_command_line

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2022-01-15 13:50:10
    【经验分享】发现一个功能超强的CSV分析处理工具miller,分享一下
    它是基于命令行的,项目主页地址:github.com/johnkerl/miller

    下面拿一个360万行左右的CSV文件小试牛刀:

    1. mlr --icsv --ojson head -n 2 meituan_waimai_shops_202108_v1_2.csv
    解释:以JSON格式展示指定CSV文件的前两条记录,类似的还支持tail -n(查看文件最后几条记录)。如附图1所示。

    2. mlr --icsv --ojson filter '$id=="8388644"' meituan_waimai_shops_202108_v1_2.csv
    解释:筛选出CSV文件中id列为"8388644"的记录,以JSON格式展示。如附图2所示。

    3. mlr --icsv --ojson cut -f 'id,city,name,address,phone,lng,lat' then head -n 3 meituan_waimai_shops_202108_v1_2.csv
    解释:从CSV中截取部分字段,然后显示前3条记录。如附图3所示。

    4. mlr --icsv --opprint count-distinct -f "city" then sort -nr count meituan_waimai_shops_202108_v1_2.csv
    解释:统计"city"字段每种取值对应的数据条数,本例目的是统计每个城市里对应的外卖店铺数量。如附图4所示。

    5. mlr --icsv --ojson filter '$comment_number!=""' then sort -nr 'comment_number' then head -n 3 meituan_waimai_shops_202108_v1_2.csv
    解释:过滤掉CSV中comment_number为空的记录,然后按照comment_number数值从大到小排序,然后以JSON格式显示前三名。如附图5所示。

    PS:
    --icsv --ojson 可简写为 --c2j。
    --icsv --opprint 可简写为 --c2p 。

    更多用法详见教程:
    https://miller.readthedocs.io/en/latest/
    https://miller.readthedocs.io/en/latest/10min/
    guillim.github.io/terminal/2018/06/19/MLR-for-CSV-manipulation.html

    编译好的程序下载路径:
    github.com/johnkerl/miller/releases/tag/v6.0.0(有Windows版,看这里介绍https://miller.readthedocs.io/en/latest/miller-on-windows/

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2022-01-14 18:25:57
    【经验分享】用"sudo update-rc.d squid remove"命令禁用了squid服务自启动之后,如何恢复?
    方法:sudo update-rc.d squid defaults
    参考:github.com/FoldingAtHome/fah-issues/issues/1193、blog.csdn.net/typ2004/article/details/38712887 ​​​

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-12-03 17:08:07
    【经验分享】分享几个MuMu模拟器官方未公开的API接口

    背景:夜神Nox模拟器提供了一个命令行工具NoxConsole.exe,通过这个工具可以实现模拟器启动、退出、重启、修改GPS坐标、修改IMEI等功能。但是MuMu模拟器没有提供类似的工具,如何实现上述这些自动化操作呢?

    1. 一个思路就是模拟操作UI。例如,模拟鼠标点击进入设置,进行参数修改。但是这样效率比较低,容易受到其它程序的影响导致失败,而且实现起来繁琐。
    2. 一个偶然的机会,在查看MuMu模拟器的log.txt(C:\Program Files\MuMu\emulator\nemu\EmulatorShell\log.txt)时,发现MuMu模拟器在进行设置保存操作的时候是通过调用本地API的形式实现的。通过进一步抓包和测试,确认了有如下接口可用(官方未公开)。

    (1)重启MuMu模拟器。
    POST /v1/tools/os HTTP/1.1
    Host: 127.0.0.1:6667
    Content-Type: application/json
    Connection: Keep-Alive
    Accept-Language: zh-CN,en,*
    User-Agent: Mozilla/5.0
    Cache-Control: no-cache
    Accept-Encoding: gzip, deflate
    Content-Length: 29

    {
    "action": "shutdown"
    }

    (2)修改IMEI、IMSI、SERIALNO。

    POST /v1/tools/prop HTTP/1.1
    Host: 127.0.0.1:6667
    Content-Type: application/json
    Connection: Keep-Alive
    Accept-Language: zh-CN,en,*
    User-Agent: Mozilla/5.0
    Accept-Encoding: gzip, deflate
    Content-Length: 460

    {
    "action": "set",
    "params": {
    "prop_array": [
    {
    "prop_key": "nemud.device.id",
    "prop_value": "980000000078158"
    },
    {
    "prop_key": "nemud.device.imsi",
    "prop_value": "460021361018124"
    },
    {
    "prop_key": "nemud.device.sim.serialno",
    "prop_value": "10647150041526731799"
    }
    ]
    }
    }

    (3)获取已安装的应用列表,如附图所示。
    GET /v1/apps HTTP/1.1
    Host: 127.0.0.1:6667
    Content-Type: application/json
    Connection: Keep-Alive
    Accept-Language: zh-CN,en,*
    User-Agent: Mozilla/5.0
    Accept-Encoding: gzip, deflate

    需要注意的是API的端口在不同电脑上不一样(我本地电脑上是6667,在另外一台电脑上是17002),实际值的可以通过读取log.txt文件获取。另外,应该还有其它有用的接口,可以通过抓包自行分析。

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-11-13 14:10:48
    【总结备忘】socks5 UDP ASSOCIATE(UDP转发)过程
    1. Socks5认证。关于认证的详细过程可以看这篇文章https://juejin.cn/post/6844903923518537741,这里不是重点。

    2. 发送请求连接命令。
    (1)客户端发送CMD值为0x03(UDP ASSOCIATE)的命令。如图1所示(rfc1928截图)。
    (2)服务端应答情况一:如果S5服务器不支持UDP ASSOCIATE,返回的REP值为0x07,表示"Command not supported"。如图2所示。借此可以用来检测Socks5代理是否支持UDP转发。
    (3)服务端应答情况二:如果S5服务支持UDP ASSOCIATE,则返回的REP值为0x00,表示"succeeded"。并返回BND.ADDR 和 BND.PORT,这是S5服务器给客户端准备的UDP转发地址和端口,即S5服务器会监听BND.ADDR 和 BND.PORT来接收客户端的UDP数据。接下来客户端的UDP需要发往BND.ADDR 和 BND.PORT,此后就走UDP协议了,不再使用之前建立的TCP连接。
    3. 客户端将要发送的数据加上一个Socks5 UDP协议头(含DST.ADDR和DST.PORT,如图3所示)后,发送给BND.ADDR 和 BND.PORT,代理服务器接收到后,去掉Socks5 UDP协议头,将真正的数据转发给DST.ADDR和DST.PORT。
    4. 代理服务器在接收到目标主机的应答数据后,加上一个Socks5 UDP协议头,转发给客户端。
    图4是从网上找的,非常清楚地展示了Socks5 UDP ASSOCIATE的整个过程。

    如何测试一个S5是否支持UDP转发呢?
    找了一下,似乎没有特别好的工具:
    (1)github上有一个Python脚本udpchk.py(网址:github.com/semigodking/socks5chk/blob/master/udpchk.py),不过用起来不方便。
    (2)另外,还有SSTap软件自带的代理检测功能可以实现UDP转发测试,试了一下效果如图5和图6所示,一个是支持UDP转发的S5测试,一个是不支持的测试。

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-11-13 09:37:01
    【经验分享】推荐一款大CSV文件查看器csviewer
    官网地址:https://csviewer.com/ 据说最大支持5亿行的CSV文件。
    我没试过那么大的,试了一个“安居客2021年的二手房小区数据”,约73万条(行),508MB(http://www.data-shop.net/2021/11/%e5%ae%89%e5%b1%85%e5%ae%a22021%e5%b9%b4%e6%9c%80%e6%96%b0%e5%85%a8%e5%9b%bd%e4%ba%8c%e6%89%8b%e6%88%bf%e5%b0%8f%e5%8c%ba%e6%95%b0%e6%8d%ae%ef%bc%8873%e4%b8%87%e6%9d%a1%ef%bc%89/),加载耗时18秒,界面如下图所示。 ​​​

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-11-04 09:36:25
    【经验分享】如何在Linux虚拟机里探测虚拟化(软件)的类型?
    使用virt-what命令即可实现,ubuntu下可用直接apt-get去install。

    我分别拿手边的下列机器做了测试:
    1. 物理机,如图1,物理机没有输出任何信息。
    2. 自己配置的Vmware、ESxi虚拟机,如图2和3所示,被识别为vmware。
    3. 自己配置的Hyperv虚拟机,如图4所示,被识别为hyperv。
    4. 自己配置的KVM(QEMU)虚拟机,如图5所示,被识别为kvm。
    6. 分别在阿里云、腾讯云、亿速云也做了测试,如图6、7、8所示,均识别为kvm;

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-11-02 10:16:20
    【经验分享】关于彻底关闭Nox模拟器虚拟机
    背景: 命令行关闭Nox虚拟机可以使用"NoxConsole.exe quit <-name:nox_name | -index:nox_index>", 但是有时候会失败。
    这里采用一种保险的思路,先调用"NoxConsole.exe quit"进行安全关闭,若干秒后检测虚拟机对应虚拟机的Nox.exe进程(考虑到多开的情况,根据"-clone:"参数判断是否属于当前虚拟机实例)和NoxVMHandle.exe进程(考虑到多开的情况,根据"--comment"参数判断是否属于当前虚拟机实例)是否还存在,如果存在就强制终止这两个进程,达到彻底关闭的目的。

    完整实现如下图所示。

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-10-18 14:59:23

    【经验分享】如何计算阿里系Ajax请求中的sign签名?
    有过阿里系采集经验的开发者都应该知道,某宝(天猫)H5版、1688、某宝司法拍卖H5版等阿里系网站,在Ajax请求中都会有一个sign签名参数(如下图1、2、3所示),要是值不正确将无法获取到有效的数据(例如返回“非法请求”提示)。如果我们无法构造出有效的sign,就只能通过“模拟浏览器操作”的方式来绕过签名验证,再结合"mitmproxy动态抓包脚本"来提取返回数据,这种方案效率太低,而且很不灵活。本文将介绍如何计算这个sign值以及给出对应的Python实现,这样就能实现通过直接HTTP交互抓取数据。点击链接查看详情>>> http://www.site-digger.com/html/articles/20211018/851.html

    •  

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-10-09 11:40:29
    【经验分享】mysqldump时的两点技巧
    (1)如何避免锁表?
    加上--single-transaction=TRUE参数即可。
    来源:https://stackoverflow.com/questions/104612/run-mysqldump-without-locking-tables
    (2)如何排除某张表?例如 避免导出尺寸太大的日志表。
    使用--ignore-table=dbname.tablename指定即可,如果要排除多个,加上多个--ignore-table=dbname.tablename参数。
    来源:https://www.cnblogs.com/rxbook/p/7735485.html

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-08-15 13:48:07
    【经验分析】urllib2使用"User-Agent"设置UA会无效原因的分析

    (1)如下代码,尝试使用"User-Agent"设置UA为"test",会失败:
    服务端接收到的UA信息为"Python-urllib/2.7",而不是"test"。
    urllib2.build_opener().open(urllib2.Request(url='http://192.168.1.200:1234', data=None, headers={'User-Agent': 'test'}))
    (2)将headers修改为{'User-agent': 'test'},成功。
    如附图1所示。原因是什么呢?

    可以在urllib2.py中找到答案:
    (1)首先urllib2默认会在headers列表中添加一个“User-agent”,其值为"Python-urllib/%s" % __version__,如附图2所示。
    (2)在do_open()中对headers进行了规范化处理(.title()),代码如下。
    headers = dict((name.title(), val) for name, val in headers.items())
    如图3所示,我们在该句前后分别打印headers,处理之前为:
    {'Host': '192.168.1.200:1234', 'User-Agent': 'test', 'Connection': 'close', 'User-agent': 'Python-urllib/2.7'},里面有我们设置的'User-Agent': 'test'
    处理之后就变成下面了:
    {'Host': '192.168.1.200:1234', 'Connection': 'close', 'User-Agent': 'Python-urllib/2.7'}
    原因是后面的'User-agent'经过.title()后也会变'User-Agent',在字典中覆盖掉了我们自定义的值。

    以后使用urllib2要设置UA时,一定要用“User-agent”,而不能用“User-Agent”!

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-08-15 13:17:33
    【经验分享】在分析别人代码的时候,通过打印调用栈可以帮助我们快速掌握调用函数的上下文调用逻辑。Python中如何打印调用栈呢?如下。
    import traceback
    traceback.print_stack()
    参考>>> https://stackoverflow.com/questions/1156023/print-current-call-stack-from-a-method-in-python-code
    例如,我们想知道httplib.py中_send_request()函数的调用上下文,在_send_request()中加入上述代码,当代码执行的时候就会在控制台打印出调用栈信息,如附图所示。

    阅读全文 + 去微博评论 +

  • 西安鲲之鹏

    发布时间:2021-06-24 14:11:26
    【经验分享】如何给python函数增加一个timeout功能?
    想要实现的效果:
    在调用一个函数(不固定)的时候如果在指定的N秒内没有返回,就强制停止。

    在github上找到了一些方案例如func_timeout,timeout_decorator。经过测试对比,func_timeout比较理想,项目主页:github.com/kata198/func_timeout,“Python module to support running any existing function with a given timeout.”。它提供了一个装饰器func_set_timeout,非常方便。

    timeout_decorator原理:
    它是利用子线程StoppableThread来执行目标函数,当指定时间到达,子线程还未结束,就强制结束子线程,然后抛出FunctionTimedOut异常,详见github.com/kata198/func_timeout/blob/master/func_timeout/dafunc.py。

    阅读全文 + 去微博评论 +