爬虫放在 scrapinghub 还是会被 ban

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3881 days ago, the information mentioned may be changed or developed.

DOWNLOAD_DELAY 设置为 7 ， COOKIES_ENABLED=False ， rotate user agent 。不管用。 deploy 到 scrapinghub 上也只有前 100 个 request 可以。还有什么防 ban 的方法.

6 replies • 2019-02-13 13:45:34 +08:00

binux

Mar 21, 2016

找 scrapinghub 客服

rebornix

Mar 21, 2016

scrapinghub 当然不管你是否被 Ban 啊，这个服务又不是管这个的。。。

他们会告诉你用他们的 CRAWLERA

lbfeng

Mar 21, 2016

@rebornix 免费的果然不好使

rebornix

Mar 21, 2016

@lbfeng 主要还是看业务需求，他们提供 hosting ，避免被 Ban 要好好优化代码以及多 IP 。前者他们帮不了，后者还是可以做的，一门好生意。

hanbingtel

Mar 25, 2016

最好丢个测试地址，大家研究下哈！！看是否能突破。

AceDogs

Feb 13, 2019

你要知道 scrapinghub 和你的爬虫被封没关系，封禁可能是对方网站的策略问题，你还是要考虑如果不被封锁，他们也提供了一个牛逼的代理服务叫 crawlera，这个就是专门干这事的。当然不同的网站有不同的封禁的方案，你还是看在代码中去好好控制一下的。