推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
Oane
V2EX  ›  Python

天猫爬虫封禁 一个都不给我

  •  
  •   Oane · Mar 4, 2019 · 5995 views
    This topic created in 2811 days ago, the information mentioned may be changed or developed.

    爬取天猫评论,连第一个都没爬完就封了 想问延长休息时间有用吗? 代理池没有试过不知道有没有效果

    10 replies  •  2019-03-07 09:53:13 +08:00
    lhx2008
    lhx2008
    Mar 4, 2019 via Android
    1
    先把浏览器特征做好吧,可以爬几页,然后是代理池,哪有这么容易。
    www5070504
    www5070504
    Mar 4, 2019
    2
    代理池都不上的。。。
    shapl
    shapl
    Mar 4, 2019
    3
    用浏览器插件的形式,让用户浏览器去爬。。
    当你的插件用户足够多,就行了。。
    fomeiherz
    fomeiherz
    Mar 4, 2019 via iPhone
    4
    @shapl 具体怎么实现
    shapl
    shapl
    Mar 4, 2019
    5
    @fomeiherz #4 chrome 插件吖。在用户浏览器后台运行就行了。
    lusi1990
    lusi1990
    Mar 5, 2019 via Android
    6
    阿里反爬做的很好了,没个两个天搞不完,代理肯定要上,多个用户。httpbin.org 看看自己的请求和浏览器 差多少
    Johnson66
    Johnson66
    Mar 5, 2019
    7
    评论是需要登陆 有 cookie 才能拿到的
    Johnson66
    Johnson66
    Mar 5, 2019
    8
    延长时间有用~~
    ranlele
    ranlele
    Mar 6, 2019
    9
    @lhx2008 浏览器特征 最主要做什么方面啊。
    cruithne
    cruithne
    Mar 7, 2019
    10
    带着 cookie 进行请求吧,阿里系的都不好爬
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   975 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 19:34 · PVG 03:34 · LAX 11:34 · JFK 14:34
    ♥ Do have faith in what you're doing.