scrapy 怎么控制多个 代理 IP 线程 账号 一一对应,且代理失效换代理 账号失效换账号?
|
defunct9Apr 30, 2017 via iPhone
1
这个你需要定期去更新活着可用的代理列表,scrapy 从这个代理池中获取代理即可
|
|
2
过两天可能写个代理池爬虫开源
|
|
gamecmtMay 1, 2017 via iPhone
5
在 v 站搜搜就有,有个共享的,https://www.v2ex.com/t/340272#reply43
|
|
TunarMay 1, 2017 via Android
6
从代理池中取
|