推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
bob6666
V2EX  ›  Python

一个 scrapy 爬虫问题,求大家帮帮忙。

  •  
  •   bob6666 · Apr 30, 2017 · 3108 views
    This topic created in 3487 days ago, the information mentioned may be changed or developed.
    scrapy 怎么控制多个 代理 IP 线程 账号 一一对应,且代理失效换代理 账号失效换账号?
    6 replies  •  2017-05-01 09:17:17 +08:00
    defunct9
    defunct9
    Apr 30, 2017 via iPhone
    1
    这个你需要定期去更新活着可用的代理列表,scrapy 从这个代理池中获取代理即可
    WildCat
    WildCat
    May 1, 2017 via iPhone❤️1
    2
    过两天可能写个代理池爬虫开源
    bozong
    bozong
    May 1, 2017 via iPhone
    3
    @WildCat 期待。。。。。。
    gzlock
    gzlock
    May 1, 2017 via Android
    4
    @WildCat 先预支一个 star
    gamecmt
    gamecmt
    May 1, 2017 via iPhone
    5
    在 v 站搜搜就有,有个共享的,https://www.v2ex.com/t/340272#reply43
    Tunar
    Tunar
    May 1, 2017 via Android
    6
    从代理池中取
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1525 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 16:30 · PVG 00:30 · LAX 08:30 · JFK 11:30
    ♥ Do have faith in what you're doing.