更多>>关于我们

西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效获取互联网任何公开可见信息。

您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。

数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。

更多>>官方微博

西安鲲之鹏
陕西 西安

加关注

  • 【演示】某小红书APP笔记详情及评论数据采集最新(20210618)演示
    近日某小红书的网页版不再展示笔记的“点赞数、评论数、收藏数和分享数”了,为了能拿到这些信息只能从APP端入手。本采集方案可以拿到笔记的所有属性值以及前10条评论数据。

    (1)笔记详情包含的字段
    'note_id'(笔记ID), 'note_type'(笔记类型,是普通的还是视频), 'user_red_id'(用户ID), 'user_name'(用户名), 'liked_count'(点赞数), 'shared_count'(分享数), 'collected_count'(收藏数), 'comments_count'(评论数), 'pubtime'(笔记发布时间), 'hash_tags'(标签), 'images_list'(原图列表), 'video'(视频链接,如果是视频笔记), 'desc'(笔记内容)
    示例数据链接:点击查看"小红书笔记示例数据"

    (2)笔记评论包含的字段
    'comment_id'(评论), 'note_id'(关联的笔记ID), 'user_name'(用户名), 'pubtime'(评论发布时间), 'like_count'(评论点赞数), 'score'(评分), 'content'(评论内容), 'sub_comment_count'(评论回复数), 'sub_comments'(评论回复内容)
    示例数据链接:点击查看小红书评论示例数据

    某小红书APP笔记详情及评论数据采集最新(20210618)演示

    发布时间:2021-06-18 14:30:34
  • 【经验分享】某特来电APP采集方案
    我们分析的是V5.11.0版本,加了360的壳,用了ssl证书固定。
    (1)经过ssl unpinning之后,Fiddler成功抓到包,如图1-3所示,分别对应“充电站搜索返回的列表”,“充电站详情”和“充电站的终端列表”。可以看到请求头中有很多陌生的参数,例如AVER,它是怎么构造出来的?
    (2)脱壳,反编译找到了实现过程代码,如图4所示。可以看出AVER是通过对时间戳参数ATS,经过"DES/CBC/PKCS7Padding"加密而成。其它参数在代码中也都能找到实现过程。其中"X-Token"的产生过程比较复杂,后面再分享产生过程。
    发布时间:2021-06-08 12:10:34
  • 【经验分享】com.google.gson.Gson的toJson()方法在插桩分析的时候太有用了,赞赞赞。
    function toJson(javaObject) {
        return Java.use("com.google.gson.Gson").$new().toJson(javaObject);
    };
    通过toJson(javaObject)可以将Java对象(数据结构)转换成JSON格式,非常方便。想想之前都是通过字符串拼接各个字段(熟悉)值,太费劲儿了。

    关于com.google.gson.Gson的toJson()的更多示例可以看这篇文章:https://www.cnblogs.com/reboost/p/9521603.html
    发布时间:2021-06-04 10:57:34
  • 【经验分享】某美丽修行APP反采集策略分析
    采用的反采集策略:
    (1)加了360的壳。
    (2)ssl证书固定。
    (3)部分接口返回的数据有加密,例如附图1所示。
    (4)商品搜索部分需要登录(不登录实际可以拿到前10条数据)。

    解决方案:
    (1)通过frida脚本绕过证书固定,成功拦截到交互过程,如附图1所示,为某个请求的应答。
    (2)经过dump内存dex文件,jadx反编译,找到了“entityInfo”加密串的解密过程,如图2所示。顺藤摸瓜,找到AES解密的key和iv在so文件里,如图3所示。
    (3)用ida pro静态分析so文件,成功找到了key和iv,如图4所示。
    (4)用获取到的key和iv尝试解密“entityInfo”,成功,如图5所示。

    "商品详情"对应JSON数据如附图6所示,"全成分表"对应JSON数据如附图7-9所示。
    发布时间:2021-06-03 14:41:55
  • 【经验分享】一例网站反爬机制分析
    某网站,网址:http://t.cn/Rm6yxny(microchip官网)。浏览器访问正常,用Python urllib2和curl命令获取超时,修改成浏览器相同UA也同样结果。

    根据经验,网站是根据“是否使用了长连接”来识别爬虫的。现代浏览器默认都会使用长连接(Connection: keep-alive)来提高多个请求的效率,而urllib2默认不使用长连接,每次请求完毕都会关闭tcp连接,urllib2发出的HTTP请求Connection值都为close(urllib2源码里写死了,如附图所示)。

    解决方法:使用支持长连接的HTTP库即可,例如requests库或者urllib3库。

    另外,我在stackoverflow上看到了能让urllib2支持keep-alive的方法,连接在这里https://stackoverflow.com/questions/1037406/python-urllib2-with-keep-alive,没有测试过。
    发布时间:2021-05-28 11:25:15
  • 【经验分享】如何在命令行下执行单个SQL语句?
    例如 定期清理django_session表
    示例: mysql -u root -p 123456 somedb -e "delete from django_session" ​​​​
    发布时间:2021-05-27 17:05:36
  • 【经验分享】某http proxy server远程连接老被reset,如图所示,curl连接总是返回“ Connection reset by peer”,偶尔也能成功一下。nc连接,能连上,但连上后马上断开。
    在服务器上本地测试就没问题。刚开始怀疑是机房防火墙搞的怪,联系IDC无果。

    proxy server用的是delegate,看命令行参数,偶然发现有个"MAXIMA=conpch:30"参数,突然意识到了问题,应该是并发数设置太小了。改成200,重启delegate,问题解决。

    附“MAXIMA conpch”参数说明文档:
    http://t.cn/A6c5ngHp
    conpch  --- max. number of connections at a time per client host [unlimited]
    发布时间:2021-04-08 10:37:42
  • 【经验分享】使用httping来测试http/socks5 proxy的稳定性

    httping是一款http连通性测试工具,通过跟踪持续http请求的结果,来评估目标平台的稳定性。它支持http/https以及socks5代理,因此我们可以借以测试http/https/socks5代理的稳定性。

    示例1:
    测试http代理的稳定性,命令如下:
    httping --proxy 代理IP:代理端口 --proxy-user  代理用户名 --proxy-password  代理密码 -Y 目标网址
    效果如图1和图2所示。通过对比可以明细看出图2的代理要比图1的速度快很多,而且稳定性更好。

    示例2:
    测试socks5代理的稳定性,命令如下:
    httping -5 --proxy 代理IP:代理端口 --proxy-user  代理用户名 --proxy-password  代理密码  -Y 目标网址
    PS:与设置http代理相比,设置socks5代理只多了一个"-5"参数。
    效果如图3所示。

    httpping项目主页:http://t.cn/RqDnaQc,上面还有编译好的win64版本。
    发布时间:2021-03-26 12:23:58
  • 【经验分享】mysql修改数据存储目录datadir之后,无法正常启动。syslog显示错误信息如下:
    apparmor="DENIED" operation="open" profile="/usr/sbin/mysqld" name="/data/sdi/mysql_data/mysql/ibdata1"
    有很多类似行,见图1,跟文件权限有关。

    apparmor 是一款Linux下的应用程序权限控制软件,这里是它禁止了mysqld进程对新的数据库目录的访问。

    解决方案:
    (1)编辑apparmor的mysql进程权限配置文件etc/apparmor.d/usr.sbin.mysqld,加入对新的数据库目录的访问授权。
    (2)重启apparmor服务,sudo service apparmor restart,这一步很重要,光修改上述配置文件不行,重启才能生效。
    (3)重启mysql服务。
    发布时间:2021-03-18 13:26:50
  • 【吐槽+分享】商超类店铺商品真够多啊,一个华润万家店铺商品数超过了7000件。

    分享:
    美团外卖华润万家(益田店),店铺APP ID:6043548,地址:深圳市福田区福民路北面皇达东方雅苑裙楼。全量商品数据(约7000条),采集时间:2021-03-16
    数据下载链接:http://t.cn/A6tuEDLa

    字段说明:
    'id' - 商品ID;
    'category' - 所属分类(商家自定义分类);
    'name' - 商品名称;
    'min_price' - 商品价格;
    'origin_price' - 商品原价;
    'member_price' - 会员价;
    'unit' - 单位;
    'min_order_count' - 最少起售量;
    'spec' - 规格;
    'real_stock' - 库存;
    'month_saled_content' - 月销量;
    'praise_content' - 点赞数;
    'activity_tag' - 所属活动;
    'promotion_info' - 促销信息;
    'picture' - 商品图片;
    发布时间:2021-03-16 12:53:34
当前位置: 首页 > 技术文章 >
国内知名本地生活信息平台3648万商户数据2017年07月份更新
发布时间:2016-01-22

数据说明:
国内知名本地生活信息平台(你懂的)全国3648万商户(所有分类)数据2017年07月份更新。
PS:仅商户数据,不含评论列表数据。
 
有图有真相:
 
 
更新说明:

 

  • 删除mall_id字段(网站改版,已无该信息);
  • 删除history字段(网站改版,已无该信息);
  • navigation字段更名为breadcrumb;
  • 修复“家装类”由于模板升级造成的数据不全的问题;
详细字段说明:
  1. “shop_id"(商户ID,唯一、固定不变)
  1. “mall_id"(商户所述商场的shop_id)(网站改版,已无该信息)
  1. “verified"(是否加V)
  1. "is_closed"(是否停业)
  1. "name"(商户名称)
  1. "alias"(别名)
  1. "province"(省)
  1. "real_city"(真实所属城市)
  1. "city"(市)
  1. "city_pinyin"(市拼音)
  1. "city_id"
  1. "area"(区)
  1. "big_cate"(一级分类)
  1. "big_cate_id"
  1. "small_cate"(二级分类)
  1. "small_cate_id"
  1. "address"(地址)
  1. "business_area"(商圈)
  1. "phone"(电话)
  1. "hours"(营业时间)
  1. "avg_price"(均价)
  1. "stars"(星级)
  1. "photos"(图片)
  1. "description"(描述)
  1. "tags"(标签)
  1. "map_type"
  1. "latitude"(纬度, 腾讯地图)
  1. "longitude"(经度, 腾讯地图)
  1. "breadcrumb"(导航栏、面包屑内容)
  1. "traffic"(交通)
  1. "characteristics"(特色)
  1. "product_rating"(口味/产品评分)
  1. "environment_rating"(环境评分)
  1. "service_rating"(服务评分)
  1. "all_remarks"(全部点评数)
  1. “default_remarks"(默认点评数)
  1. "very_good_remarks"(5星数)
  1. "good_remarks"(4星数)
  1. "common_remarks"(3星数)
  1. "bad_remarks"(2星数)
  1. "very_bad_remarks"(1星数)
  1. "recommended_dishes"(推荐菜)
  1. "recommended_products"(推荐产品)
  1. "parking"(停车位信息)
  1. "nearby_shops"(周边商户)
  1. "is_chains"(是否是连锁店)
  1. "take-away"(是否外卖)
  1. "group"(团购信息)
  1. "card"(会员卡)
  1. "latest_comment_date"(最新评论日期)
  1. "history"(历史时间点:加入时间、更新时间、最后评论时间三类信息分号分隔)(网站改版,已无该信息)
  1. "visits_total"(总浏览数)
  1. "visits_month"(本月浏览数)
  1. "visits_week"(本周浏览数)
  1. "num_collected"(收藏人数)
 
示例数据:
  1. 定制示例数据
  • 你可以联系我们在线客服获取你想要的部分示例数据,例如某个城市某个分类的示例数据。也可以查询验证某个条件对应的商户数量。
 
联系客服:
客服QQ:312602670 或 1649677458
客服电话:13389148466 或 13571845363

 
关于本数据的FAQ:
  1. 你们多久更新一次数据?
  • 答:大概6个月更新一次。
  1. 你们完整采集一次需要要花多长时间?
  • 答:一个月左右。我们每次都是全量采集,本次下载页面量超过1.5亿。
  1.  你们采集到的数据量为什么这么大,我自己采集为什么只能采集到几百万?
  • 答:网站的列表页有页数限制。我们采用递归子分类和子区域,结合遍历shop_id的方式,最大程度上保证了数据的完整性。
  1. 我发现你们的数据缺失了某个店铺,是什么原因造成的?
  • 答:这很正常,在采集开始到采集完成这一个月内又会新增很多的店铺,而这些店铺的数据肯定会漏掉。
  1. 我发现了一个Bug,你们能给处理吗?
  • 答:在数据购买半个月内,如果该Bug的影响范围大于10%,我们将立即处理,并免费提供一份处理后的数据。如果该Bug的影响范围小于10%,我们不能立即处理,但会在下一个版本中进行修复。由于网站的模板种类很多,要兼顾各种特殊情况,我们也在不断的修复数据中存在的历史问题。
  1. 我想增加一个字段,可以吗?
  • 答:抱歉不行,购买现成的数据不提供任何修改支持。如果你想自定义字段,建议申请定制采集服务(费用会远高于购买现成数据)。
  1. 数据总量有多大?这么大怎么传给我?
  • 答:ZIP文件约4.3GB左右,解压后CSV文件约21GB左右。通过百度网盘共享(有提取密码)。
  1. 你们能否帮我将数据导入数据库?
  • 答:抱歉,你需要自己完成导入的过程。可以参考我们的导入教程:
  1. 你们有历史数据吗?
  • 答:有。请联系我们的客服QQ咨询详情。
  1. 你们可以采集其它网站的数据吗?
  • 答:是的,任意公开网站的非隐私数据我们都可以采集,这里有部分我们之前采集的示例数据 >>> 点击进入数据超市。PS:我们不采集任何非法网站(例如,博彩、色情)的数据、也不会采用非法手段窃取后台数据。

 

特别说明:本文旨在技术交流,请勿将涉及的技术用于非法用途,否则一切后果自负。如果您觉得我们侵犯了您的合法权益,请联系我们予以处理。
☹ Disqus被Qiang了,之前所有的评论内容都看不到了。如果您有爬虫相关技术方面的问题,欢迎发到我们的问答平台:http://spider.site-digger.com/
QQ在线客服
欢迎咨询,点击这里给我发送消息。
欢迎咨询,点击这里给我发送消息。

加微信咨询