看最近有几个关于爬虫的帖子，顺便好奇一下各位写过的爬虫性能都大概如何～
机器带宽的配置？语言 /框架？每分钟抓取了多少页 or 解析了多少页？
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3701 days ago, the information mentioned may be changed or developed.
 |
sydfishSep 19, 2016
1
楼主是自己写爬虫的？能交流一下吗？
|
 |
2
楼主可以写个爬虫把 github 上的爬虫源码都爬下来，然后再统计语言 /框架，再写个脚本测试各类爬虫的性能，这样不仅提高了自己写爬虫的水平还解决了想了解的问题，讲的好有道理自己都无法反驳
|
1 |
3
@sydfish 我也只是入门级水平，仅限于折腾一下 scrapy 和 scrapy-redis 之流。
@diefishfish 我觉得用脚本测试还是不现实吧，毕竟爬虫这个东西也要看具体应用场景才能知道真正的性能，不同的网站反爬机制也不一定相同。 |
 |
x8Sep 19, 2016
4
最大的瓶颈是带宽，是反扒机制
纯粹抓取效率的话，语言和框架都没关系，网络等待时间都是秒级的 就一破笔记本手写并发随便开几百线程，就能把 10M 光纤跑满，你自己写个试试就知道了 |
Select Language