这 50w+的网址，完全不重复， 而且只爬个首页
大家觉得用 requests 还是 scrapy ？
能说说这种场景下，两者的优势吗？
谢谢
This topic created in 3367 days ago, the information mentioned may be changed or developed.
 |
1
一个是爬虫框架，一个是 HTTP Client 库，有得比吗？
除非是很不熟悉 Python，不然果断 Scrapy 啊。 |
1 |
2
wget
|
 |
3
才 50w，requests 就行
|
 |
4
requests 遍历打开网址，只存储 首页~ 就好了~~
|
 |
5
50w，没什么区别
|
|
6
熟悉哪个用哪个
|
 |
7
感觉两者都可以，还可以用 aiohttp 这个异步库，50 万不用多久就可以跑完了
|
 |
8
像这种逻辑不复杂又追求速度的话，elrang 或者 go。我的结果是，主流方案中 erlang 效果最佳。
|
 |
9
没区别
|
 |
fihtAug 17, 2017
10
最省心的解决办法应该是给我 500 块我给你数据。
不信的话你自己试试看 =、= |
Select Language