使用 tornado 这种异步请求框架做爬虫，效率高么？

爬虫

Tornado

异步

请求

14 replies • 2016-01-18 02:27:58 +08:00

loading

Jan 17, 2016 via Android

1

爬虫要什么效率…不然大家都不会用 python 写了。
好写才是重点，很多时候都是网速不给力。

binux

Jan 17, 2016

2

高

lepture

Jan 17, 2016

3

@loading 所言得之

Garantion

Jan 17, 2016

4

celery

ethego

Jan 17, 2016

5

@loading 正因为网速不给力所以异步带来的效率提升才是惊人的，根本不是你说这的这样。

ethego

Jan 17, 2016

6

@Garantion celery 不能解决阻塞的问题吧

Garantion

Jan 17, 2016

7

@ethego 这个不太清楚一般我会在调度的时候就尽量考虑阻塞的问题有什么好办法吗？

ethego

Jan 17, 2016

8

@Garantion gevent ， python3 的话有 asyncio

Garantion

Jan 17, 2016

9

@ethego 对对对你一说这个我上次偷懒没用 gevent 看来的确要用一下学习一下多谢多谢

loading

Jan 17, 2016 via Android

10

@ethego 带宽跑满了，能更快？

ethego

Jan 17, 2016

11

@loading 如果不开多线程或者协程，能跑满带宽？

loading

Jan 17, 2016 via Android

12

@ethego 我没说不开多线程…你看下楼主问题好吧。

ethego

Jan 17, 2016

13

@loading 楼主问的是是 tornado ，不是 python ， tornado 是通过 ioloop 的方式解决阻塞的问题。

ericls

Jan 18, 2016

14

是很高的