@leeyiw nice ，如果能深入聊一下就更好了

@leeyiw 哪个部门，负责哪块业务

@leeyiw python 是什么级别啊，签哪个公司？

还补充一条：就是链接和页面加密问题，这种只能靠分析，没有什么好的办法

已经有这么多人吐槽了，说一下大家觉得哪些国内的公有平台不错，不错在哪？

这个 logo ，你是想说你叫锤子划词么？

@nlzy 对于用户的补偿更是搞笑，由于对用户造成的不便我们将免费送您一年阿里安全......

如果单纯是性能的话，应该考虑几个方面
1.http 请求尽量采用 pool 的方式保持会话
2.尽可能避免重复 url 和重复页面的抓取
3.不要使用单一磁盘存储，尽可能用一些 Nosql 数据库或内存高速缓存（例如： redis/memcache ）
4.降低存储部分冗余，提高存储效率，比如去除空格之类的，如果是二进制文件可以采用一些算法进行压缩存储
5.ajax 类型网站和 flash 网站， Parser 和 download 一定要分开， ajax 类网站的话可能需要考虑一下内存问题，如果使用 phantomjs 如果有可能最好能用 v8 去代替 jscore （过程十分的艰难，不要轻易尝试）, 并且禁用安全检测，使用磁盘缓存（硬件方面能使用 ssd 最好了）
6.使用更快速的 dns 服务器，爬虫尽可能去缓存 dns 地址
7.多台机器性能一定高于单台机器
8.在条件允许的情况下用 pypy 代替 cpython 会更好

一些抓取遇到的反制问题
1.由于抓取频率过快，会被服务器认为是 ddos 攻击或爬虫抓取（有时候确实会让服务器宕机）
解决方案：使用代理进行绕过，并实现一些智能算法使爬虫更像人类（例如：一旦被 ban 掉自动切换代理，并减缓抓取速度，如果一定时间内没有被 ban 掉，则提高抓取速度，这样能自适应一个网站能承受的最大速度）
2.遇到验证码
解决方案：简单的验证码通过 hash 感知和一些简单的字模型匹配就能够解决，复杂验证码例如： recapture 这类可以靠人工去识别（有这种打码平台），如果是第二代验证码基于坐标位置的这类目前暂无解决办法

3.操作需要登录
解决方法：自己注册或购买账号，但是仍然可能可能会遇到问题 2 ，所以不继续说了，需要注意的是，某一些网站会通过一些特定元素的请求判断是是否是真实的登录，如果没有请求是无法成功的

4.异地登录需要验证
1.这种呢，能透露的就是尽可能不要异地登录，其它一些歪门邪道的方法不好说

请不要模仿我的主题好不

请问中国互联网 300 强和重庆小面 30 强有什么关系？

@movtoy 你扔掉了就一分钱不值了啊，我有个体会，我爹让我去卖废品我嫌麻烦直接扔小区垃圾桶了，一堆废品才几十块钱要走好远，如果有人愿意上门收少给点钱都愿意，家里房子小实在放不下

你那个 300 强是谁排的名啊

能不能回收一切不要的东西呢
@pimin

@dongyado 怎么都没怎么，告诉他有一个东西叫 HTTP 代理下次记得用

@niki 加了 qq 没通过啊

以前做某流量项目由于域名配置错误结果流量没过来，于是公司决定造假数据，写了个程序去刷，结果手下的写了一个程序去跑由于我没去看那个程序，那个 ip 没用代理结果刷了 100 多万数据 ip 都一样结果被甲方通报了

这个理解是不对的！就是在调用某个函数之前先调用装饰器函数， python 函数等于是个毛坯房装饰器等于一个毛坯房多了一盏灯，灯能干嘛不用我说了吧

@em70 很正确