更多>>关于我们
西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效获取互联网任何公开可见信息。
您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。
数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。
更多>>技术文章
-
西安鲲之鹏
发布时间:2022-02-23 16:43:43
【经验分享】miller如何按“日期时间”类型比较(过滤)某个字段的值
如下示例:
查询统计“土地市场网土地供应结果公告数据”(csv格式)中,山东省在2010年1月1日之后的数据有多少条?
mlr --c2j --from landchina-jggg_19980101_20211231_with_coordinates_UTF8.csv filter 'strptime($合同签订日期,"%Y-%m-%d") >= strptime("2010-01-01","%Y-%m-%d") && $省=~"山东"' then count
结果如附图1所示。
参考文档:https://miller.readthedocs.io/en/latest/date-time-examples/#how-can-i-filter-by-date
mlr查询的结果和如下用pandas查询的结果是一致的(如附图2所示)。注意:pandas在read_csv()的时候,要指定parse_dates=['合同签订日期'],将该字段类型转为时间日期类型。参考文档:https://www.cnblogs.com/traditional/p/12514914.html
df.query('xingzhengqu.str.contains("广东") or province.str.contains("广东")')
-
西安鲲之鹏
发布时间:2022-02-17 15:50:00
【经验分享】Ubuntu下如何创建带有vlan id的虚拟网口?
示例:
# 建立名为vlan1的虚拟网口,设置对应的vlan id为101
sudo ip link add link eth1 address 00:0c:29:39:e4:7e vlan101 type vlan id 101
# 激活这个网口
sudo ip link set vlan101 up
如何查看已有网口的vlan id?
使用"ip -d link"命令,如下图所示。
参考资料>>> https://access.redhat.com/documentation/zh-cn/red_hat_enterprise_linux/7/html/networking_guide/sec-configure_802_1q_vlan_tagging_using_the_command_line
-
西安鲲之鹏
发布时间:2022-01-15 13:50:10
【经验分享】发现一个功能超强的CSV分析处理工具miller,分享一下
它是基于命令行的,项目主页地址:github.com/johnkerl/miller
下面拿一个360万行左右的CSV文件小试牛刀:
1. mlr --icsv --ojson head -n 2 meituan_waimai_shops_202108_v1_2.csv
解释:以JSON格式展示指定CSV文件的前两条记录,类似的还支持tail -n(查看文件最后几条记录)。如附图1所示。
2. mlr --icsv --ojson filter '$id=="8388644"' meituan_waimai_shops_202108_v1_2.csv
解释:筛选出CSV文件中id列为"8388644"的记录,以JSON格式展示。如附图2所示。
3. mlr --icsv --ojson cut -f 'id,city,name,address,phone,lng,lat' then head -n 3 meituan_waimai_shops_202108_v1_2.csv
解释:从CSV中截取部分字段,然后显示前3条记录。如附图3所示。
4. mlr --icsv --opprint count-distinct -f "city" then sort -nr count meituan_waimai_shops_202108_v1_2.csv
解释:统计"city"字段每种取值对应的数据条数,本例目的是统计每个城市里对应的外卖店铺数量。如附图4所示。
5. mlr --icsv --ojson filter '$comment_number!=""' then sort -nr 'comment_number' then head -n 3 meituan_waimai_shops_202108_v1_2.csv
解释:过滤掉CSV中comment_number为空的记录,然后按照comment_number数值从大到小排序,然后以JSON格式显示前三名。如附图5所示。
PS:
--icsv --ojson 可简写为 --c2j。
--icsv --opprint 可简写为 --c2p 。
更多用法详见教程:
https://miller.readthedocs.io/en/latest/
https://miller.readthedocs.io/en/latest/10min/
guillim.github.io/terminal/2018/06/19/MLR-for-CSV-manipulation.html
编译好的程序下载路径:
github.com/johnkerl/miller/releases/tag/v6.0.0(有Windows版,看这里介绍https://miller.readthedocs.io/en/latest/miller-on-windows/)
-
西安鲲之鹏
发布时间:2021-12-03 17:08:07
【经验分享】分享几个MuMu模拟器官方未公开的API接口
背景:夜神Nox模拟器提供了一个命令行工具NoxConsole.exe,通过这个工具可以实现模拟器启动、退出、重启、修改GPS坐标、修改IMEI等功能。但是MuMu模拟器没有提供类似的工具,如何实现上述这些自动化操作呢?
1. 一个思路就是模拟操作UI。例如,模拟鼠标点击进入设置,进行参数修改。但是这样效率比较低,容易受到其它程序的影响导致失败,而且实现起来繁琐。
2. 一个偶然的机会,在查看MuMu模拟器的log.txt(C:\Program Files\MuMu\emulator\nemu\EmulatorShell\log.txt)时,发现MuMu模拟器在进行设置保存操作的时候是通过调用本地API的形式实现的。通过进一步抓包和测试,确认了有如下接口可用(官方未公开)。
(1)重启MuMu模拟器。
POST /v1/tools/os HTTP/1.1
Host: 127.0.0.1:6667
Content-Type: application/json
Connection: Keep-Alive
Accept-Language: zh-CN,en,*
User-Agent: Mozilla/5.0
Cache-Control: no-cache
Accept-Encoding: gzip, deflate
Content-Length: 29
{
"action": "shutdown"
}
(2)修改IMEI、IMSI、SERIALNO。
POST /v1/tools/prop HTTP/1.1
Host: 127.0.0.1:6667
Content-Type: application/json
Connection: Keep-Alive
Accept-Language: zh-CN,en,*
User-Agent: Mozilla/5.0
Accept-Encoding: gzip, deflate
Content-Length: 460
{
"action": "set",
"params": {
"prop_array": [
{
"prop_key": "nemud.device.id",
"prop_value": "980000000078158"
},
{
"prop_key": "nemud.device.imsi",
"prop_value": "460021361018124"
},
{
"prop_key": "nemud.device.sim.serialno",
"prop_value": "10647150041526731799"
}
]
}
}
(3)获取已安装的应用列表,如附图所示。
GET /v1/apps HTTP/1.1
Host: 127.0.0.1:6667
Content-Type: application/json
Connection: Keep-Alive
Accept-Language: zh-CN,en,*
User-Agent: Mozilla/5.0
Accept-Encoding: gzip, deflate
需要注意的是API的端口在不同电脑上不一样(我本地电脑上是6667,在另外一台电脑上是17002),实际值的可以通过读取log.txt文件获取。另外,应该还有其它有用的接口,可以通过抓包自行分析。
-
西安鲲之鹏
发布时间:2021-11-13 14:10:48
【总结备忘】socks5 UDP ASSOCIATE(UDP转发)过程
1. Socks5认证。关于认证的详细过程可以看这篇文章https://juejin.cn/post/6844903923518537741,这里不是重点。
2. 发送请求连接命令。
(1)客户端发送CMD值为0x03(UDP ASSOCIATE)的命令。如图1所示(rfc1928截图)。
(2)服务端应答情况一:如果S5服务器不支持UDP ASSOCIATE,返回的REP值为0x07,表示"Command not supported"。如图2所示。借此可以用来检测Socks5代理是否支持UDP转发。
(3)服务端应答情况二:如果S5服务支持UDP ASSOCIATE,则返回的REP值为0x00,表示"succeeded"。并返回BND.ADDR 和 BND.PORT,这是S5服务器给客户端准备的UDP转发地址和端口,即S5服务器会监听BND.ADDR 和 BND.PORT来接收客户端的UDP数据。接下来客户端的UDP需要发往BND.ADDR 和 BND.PORT,此后就走UDP协议了,不再使用之前建立的TCP连接。
3. 客户端将要发送的数据加上一个Socks5 UDP协议头(含DST.ADDR和DST.PORT,如图3所示)后,发送给BND.ADDR 和 BND.PORT,代理服务器接收到后,去掉Socks5 UDP协议头,将真正的数据转发给DST.ADDR和DST.PORT。
4. 代理服务器在接收到目标主机的应答数据后,加上一个Socks5 UDP协议头,转发给客户端。
图4是从网上找的,非常清楚地展示了Socks5 UDP ASSOCIATE的整个过程。
如何测试一个S5是否支持UDP转发呢?
找了一下,似乎没有特别好的工具:
(1)github上有一个Python脚本udpchk.py(网址:github.com/semigodking/socks5chk/blob/master/udpchk.py),不过用起来不方便。
(2)另外,还有SSTap软件自带的代理检测功能可以实现UDP转发测试,试了一下效果如图5和图6所示,一个是支持UDP转发的S5测试,一个是不支持的测试。
-
西安鲲之鹏
发布时间:2021-11-13 09:37:01
【经验分享】推荐一款大CSV文件查看器csviewer
官网地址:https://csviewer.com/ 据说最大支持5亿行的CSV文件。
我没试过那么大的,试了一个“安居客2021年的二手房小区数据”,约73万条(行),508MB(http://www.data-shop.net/2021/11/%e5%ae%89%e5%b1%85%e5%ae%a22021%e5%b9%b4%e6%9c%80%e6%96%b0%e5%85%a8%e5%9b%bd%e4%ba%8c%e6%89%8b%e6%88%bf%e5%b0%8f%e5%8c%ba%e6%95%b0%e6%8d%ae%ef%bc%8873%e4%b8%87%e6%9d%a1%ef%bc%89/),加载耗时18秒,界面如下图所示。
-
西安鲲之鹏
发布时间:2021-11-04 09:36:25
-
西安鲲之鹏
发布时间:2021-11-02 10:16:20
【经验分享】关于彻底关闭Nox模拟器虚拟机
背景: 命令行关闭Nox虚拟机可以使用"NoxConsole.exe quit <-name:nox_name | -index:nox_index>", 但是有时候会失败。
这里采用一种保险的思路,先调用"NoxConsole.exe quit"进行安全关闭,若干秒后检测虚拟机对应虚拟机的Nox.exe进程(考虑到多开的情况,根据"-clone:"参数判断是否属于当前虚拟机实例)和NoxVMHandle.exe进程(考虑到多开的情况,根据"--comment"参数判断是否属于当前虚拟机实例)是否还存在,如果存在就强制终止这两个进程,达到彻底关闭的目的。
完整实现如下图所示。
-
西安鲲之鹏
发布时间:2021-10-18 14:59:23
【经验分享】如何计算阿里系Ajax请求中的sign签名?
有过阿里系采集经验的开发者都应该知道,某宝(天猫)H5版、1688、某宝司法拍卖H5版等阿里系网站,在Ajax请求中都会有一个sign签名参数(如下图1、2、3所示),要是值不正确将无法获取到有效的数据(例如返回“非法请求”提示)。如果我们无法构造出有效的sign,就只能通过“模拟浏览器操作”的方式来绕过签名验证,再结合"mitmproxy动态抓包脚本"来提取返回数据,这种方案效率太低,而且很不灵活。本文将介绍如何计算这个sign值以及给出对应的Python实现,这样就能实现通过直接HTTP交互抓取数据。点击链接查看详情>>> http://www.site-digger.com/html/articles/20211018/851.html -
西安鲲之鹏
发布时间:2021-10-09 11:40:29
【经验分享】mysqldump时的两点技巧
(1)如何避免锁表?
加上--single-transaction=TRUE参数即可。
来源:https://stackoverflow.com/questions/104612/run-mysqldump-without-locking-tables
(2)如何排除某张表?例如 避免导出尺寸太大的日志表。
使用--ignore-table=dbname.tablename指定即可,如果要排除多个,加上多个--ignore-table=dbname.tablename参数。
来源:https://www.cnblogs.com/rxbook/p/7735485.html -
西安鲲之鹏
发布时间:2021-08-15 13:48:07
【经验分析】urllib2使用"User-Agent"设置UA会无效原因的分析
(1)如下代码,尝试使用"User-Agent"设置UA为"test",会失败:
服务端接收到的UA信息为"Python-urllib/2.7",而不是"test"。
urllib2.build_opener().open(urllib2.Request(url='http://192.168.1.200:1234', data=None, headers={'User-Agent': 'test'}))
(2)将headers修改为{'User-agent': 'test'},成功。
如附图1所示。原因是什么呢?
可以在urllib2.py中找到答案:
(1)首先urllib2默认会在headers列表中添加一个“User-agent”,其值为"Python-urllib/%s" % __version__,如附图2所示。
(2)在do_open()中对headers进行了规范化处理(.title()),代码如下。
headers = dict((name.title(), val) for name, val in headers.items())
如图3所示,我们在该句前后分别打印headers,处理之前为:
{'Host': '192.168.1.200:1234', 'User-Agent': 'test', 'Connection': 'close', 'User-agent': 'Python-urllib/2.7'},里面有我们设置的'User-Agent': 'test'
处理之后就变成下面了:
{'Host': '192.168.1.200:1234', 'Connection': 'close', 'User-Agent': 'Python-urllib/2.7'}
原因是后面的'User-agent'经过.title()后也会变'User-Agent',在字典中覆盖掉了我们自定义的值。
以后使用urllib2要设置UA时,一定要用“User-agent”,而不能用“User-Agent”!
-
西安鲲之鹏
发布时间:2021-08-15 13:17:33
【经验分享】在分析别人代码的时候,通过打印调用栈可以帮助我们快速掌握调用函数的上下文调用逻辑。Python中如何打印调用栈呢?如下。
import traceback
traceback.print_stack()
参考>>> https://stackoverflow.com/questions/1156023/print-current-call-stack-from-a-method-in-python-code
例如,我们想知道httplib.py中_send_request()函数的调用上下文,在_send_request()中加入上述代码,当代码执行的时候就会在控制台打印出调用栈信息,如附图所示。
-
西安鲲之鹏
发布时间:2021-06-24 14:11:26
【经验分享】如何给python函数增加一个timeout功能?
想要实现的效果:
在调用一个函数(不固定)的时候如果在指定的N秒内没有返回,就强制停止。
在github上找到了一些方案例如func_timeout,timeout_decorator。经过测试对比,func_timeout比较理想,项目主页:github.com/kata198/func_timeout,“Python module to support running any existing function with a given timeout.”。它提供了一个装饰器func_set_timeout,非常方便。
timeout_decorator原理:
它是利用子线程StoppableThread来执行目标函数,当指定时间到达,子线程还未结束,就强制结束子线程,然后抛出FunctionTimedOut异常,详见github.com/kata198/func_timeout/blob/master/func_timeout/dafunc.py。