淘宝外卖（口碑外卖）全国所有城市商户数据2017年9月底更新（62.8万家）。2017年9月底更新。含店招、营业执照和餐饮服务许可证图片文件。 >>> http://t.cn/R0oybU9 ​​​​

• 
• 

阅读全文 + 去微博评论 +

是谁把我的7777端口占用了？ lsof  -i:7777 ​​​​

• 

阅读全文 + 去微博评论 +

成功绕过淘宝（口碑）外卖签名机制，顺利拿到Ajax返回数据。
PS：常规模拟浏览器方法无效，需结合抓包。 ​​​​

• 
• 

阅读全文 + 去微博评论 +

Firefox历史版本下载地址：http://t.cn/Rbu2y44
PS：slimerjs支持Firefox from 38.0 to 52.0. ​​​​

• 

阅读全文 + 去微博评论 +

【无关技术】更多的时候是做一个运维，看着爬虫输出的信息越快越开心 西安鲲之鹏的微博视频 ​​​​

阅读全文 + 去微博评论 +

【经验分享】Chrome V55以后不支持设置页面编码了（不信你试试看）。不过，这货（Set Character Encoding插件）可以帮你实现。 http://t.cn/RaIDInW ​​​​

• 

阅读全文 + 去微博评论 +

【经验分享】由于项目需要在Linux Server下将近千万个word文档（*.doc）转换为文本格式（html或txt），经测试效果最好的方法是使用LibreOffice的命令行工具。

安装：
sudo apt-get purge libreoffice-core
sudo add-apt-repository -y ppa:libreoffice/ppa
sudo apt-get update
sudo apt-get install libreoffice

doc转txt示例：
soffice --headless --convert-to txt test.doc

doc转html示例：
soffice --headless --convert-to html test.doc

关于convert-to参数的更多说明见这里 >>> http://t.cn/RVGwrbi

• 
• 

阅读全文 + 去微博评论 +

搜房网(房天下)全国新房楼盘+二手房小区数据2017年07月份更新(“小区名称”,”城市”,”小区地址”,”项目特色”,”所属区域”,”邮编”,”产权描述”,”物业类别”,”竣工时间”,”开发商”,”建筑结构”,”建筑类别”,”建筑面积”,”占地面积”,”当期户数”,”总户数”,”绿化率”,”容积率”,”物业费”,”停车位”,”开盘时间”,”交房时间”,”小区简介”,”交通状况”,”周边信息”,”经度”,”纬度”,”物业公司”,”价格”,”页面链接”,”地图链接”,”区县”,”商 圈”,”装修情况”,”物业地址”,”入住时间”,”物业类型”,”环比上月”,”详情页链接”,”新房/二手房”,”newcode”) >>> 示例数据：http://t.cn/RCZcOAe

• 

阅读全文 + 去微博评论 +

【经验分享】利用Fiddler2的Custom Rules自动抓取App的TOKEN并记录到文件 >>> http://t.cn/R9RdWc3 ​​​​

• 
• 
• 

阅读全文 + 去微博评论 +

【经验分享】某拨号服务器的Web API接口突然变得不稳定，重启Apache2后正常，但是过不来多久又会挂掉。查看error日志，发现如下信息：
"""
[mpm_event:error] [pid 54893:tid 140124506744704] AH00484: server reached MaxRequestWorkers setting, consider raising the MaxRequestWorkers setting
"""
谷歌查询相关资料得知需要调整/etc/apache2/mods-available/mpm_event.conf中的相关参数，将ServerLimit 从默认的16修改为30，将MaxRequestWorkers修改为750，然后重启Apache，问题得到解决。

这里有两个坑总结一下：
1）你不一定也使用的是mpm_event模块（还可能是mpm_worker或mpm_prefork），有两种方法判断。第一种方法是根据日志的提示信息如果是“mpm_prefork:error”那说明是mpm_prefork，这个时候就需要修改的是/etc/apache2/mods-available/mpm_prefork.conf文件；第二种方法是使用"apachectl -M"命令，会显示所有加载的模块，如附图所示我的服务器加载的是mpm_event_module。
2）MaxRequestWorkers的值的上限取决于ServerLimit * ThreadsPerChild的大小。

• 
• 

阅读全文 + 去微博评论 +

给遨游做个广告。目前支持"S5+认证"代理的浏览器几乎没有，但不是没有，让我来告诉你它就是遨游5。 ​​​​

• 

阅读全文 + 去微博评论 +

【经验分享】requests库使用socks5代理提示“Missing dependencies for SOCKS support”问题解决：
pip install pysocks
pip install requests[socks]
>>> http://t.cn/R9ZI4eH ​​​​

• 

阅读全文 + 去微博评论 +

【经验分享】又解决一个疑难杂症：py2exe打包某使用paste的程序时总是失败，提示“No module named paste”，确认paste库是安装成功的。经过层层追踪最终发现是py2exe中的imp.find_module('paste')报的错。

经过验证，imp.find_module('paste')果真报错：
Python 2.7.6 (default, Jun 22 2015, 17:58:13)
[GCC 4.8.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import imp
>>> imp.find_module('paste')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: No module named paste
>>> import paste
这就奇了怪了，paste明明安装好了，而且工作正常，为何imp找不到它呢？！

白色不得其解只得求助于stackoverflow（http://t.cn/RKB74OH），果然还是有高人，问题得到成功解决"The main problem seems that paste module doesnt have an __init__.py file"（就是在paste库的目录下建立一个__init__.py的空文件），经测试有效。

大概半年前就遇到这个问题了，只能将paste换用cherrypy临时解决下，今天总算搞清楚问题了。

• 

阅读全文 + 去微博评论 +

国内知名本地生活信息平台3648万商户数据2017年07月份更新
附：CSV数据量统计截图。 ​​​​

• 

阅读全文 + 去微博评论 +

【山重水复疑无路，柳暗花明又一村】
经过不懈努力终于搞定裁判文书网App的数据解密！ ​​​​

• 
• 
• 

阅读全文 + 去微博评论 +