更多>>关于我们
西安鲲之鹏网络信息技术有限公司从2010年开始专注于Web(网站)数据抓取领域。致力于为广大中国客户提供准确、快捷的数据采集相关服务。我们采用分布式系统架构,日采集网页数千万。我们拥有海量稳定高匿HTTP代理IP地址池,可以有效获取互联网任何公开可见信息。
您只需告诉我们您想抓取的网站是什么,您感兴趣的字段有哪些,你需要的数据是哪种格式,我们将为您做所有的工作,最后把数据(或程序)交付给你。
数据的格式可以是CSV、JSON、XML、ACCESS、SQLITE、MSSQL、MYSQL等等。
更多>>技术文章
鲲鹏数据开源项目 - ECHelper介绍
发布时间:2013-03-30
介绍:
EChelper是一个基于Python的ECShop商品管理接口。
本接口由鲲鹏数据技术人员开发。
目的是利用已采集商品数据,快速建立和维护ECShop站点。
功能特性:
1)添加品牌、根据名称获取品牌ID。
2)上传新商品。
3)更新已存在商品。
4)本地图片上传
5)设置商品主图。
6)添加商品相册。
7)兼容ECShop UTF8和GBK版本(测试版本:v2.7.3)。
7)独立工作,不需要增加或修改ECShop源代码(只需要MySQL和FTP参数)。
依赖库:
MySQLdb - http://mysql-python.sourceforge.net/
PIL - http://www.pythonware.com/products/pil/
示例:
ecshop = echelper.ECHelper() # 根据分类名称获取分类ID cat_id = ecshop.get_catid(cat_name='3G手机') # 支持模糊查找 print ecshop.get_catid(cat_name='3G', fuzzy=True) # 添加品牌 brand_id = ecshop.add_brand(brand_name='鲲鹏数据') # 上传商品 goods = {} goods['cat_id'] = cat_id goods['goods_name'] = '鲲鹏WEB数据采集-测试商品' goods['market_price'] = 888 goods['shop_price'] = 88 goods['goods_number'] = 1000 goods['goods_desc'] = '没错,原价888元的手机,本店只卖88元!It\'s just a joke!' goods['brand_id'] = brand_id goods_id = ecshop.upload_goods(goods) # 设置商品上线,也可以在上传的时候直接设置 ecshop.set_onsale(goods_id=goods_id, is_on_sale=1) # 上传图片 upload_status, img_url, thumb_url, img_original = ecshop.upload_photo(image_src='pic1.jpg') # 设置商品主图 if upload_status: ecshop.set_goods_photo(goods_id=goods_id, img_url=img_url, thumb_url=thumb_url, img_original=img_original) # 为商品添加相册图 if upload_status: ecshop.add_goods_gallery(goods_id=goods_id, img_url=img_original, thumb_url=thumb_url, img_original=img_original, img_desc='pic1') # 上传、添加另一张相册图 upload_status, img_url, thumb_url, img_original = ecshop.upload_photo(image_src='pic2.jpg') if upload_status: ecshop.add_goods_gallery(goods_id=goods_id, img_url=img_original, thumb_url=thumb_url, img_original=img_original, img_desc='pic2')
详情见test.py文件。
反馈:
欢迎提交BUG,提出建议。
Email: hello@site-digger.com
TODO List:
添加商品分类。
ECShop介绍:
ECShop是一款B2C独立网店系统,适合企业及个人快速构建个性化网上商店。系统是基于PHP语言及MYSQL数据库构架开发的跨平台开源程序。目前最新版本为2.7.3。- 摘自百度百科 http://baike.baidu.com/view/1321813.htm
特别说明:本文旨在技术交流,请勿将涉及的技术用于非法用途,否则一切后果自负。如果您觉得我们侵犯了您的合法权益,请联系我们予以处理。
☹ Disqus被Qiang了,之前所有的评论内容都看不到了。如果您有爬虫相关技术方面的问题,欢迎发到我们的问答平台:http://spider.site-digger.com/