如题，能否有人剖析下豆瓣的反爬策略
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3556 days ago, the information mentioned may be changed or developed.
Supplement 1 · Feb 17, 2017
评论区炸锅了。。。
Supplement 2 · Feb 17, 2017
我的 IP 应该被加入了豆瓣的黑名单。
检测到有异常请求从你的 IP 发出，请 登录 使用豆瓣。
Supplement 3 · Feb 17, 2017
我不是豆瓣员工，标题输入有误。
我是写了一个代理 IP 工具目前用豆瓣做测试，结果把我自己的原始 IP 封了。
我是写了一个代理 IP 工具目前用豆瓣做测试，结果把我自己的原始 IP 封了。
 |
knightdfFeb 17, 2017
1
这能告诉你？
|
 |
gimpFeb 17, 2017
2
买海量代理可解决绝大部分反爬问题
|
 |
linbiayeFeb 17, 2017
3
这是要人吃豆瓣的饭砸豆瓣的锅。
|
 |
murmurFeb 17, 2017
4
兄弟这不厚道啊
|
 |
wangyifei6817Feb 17, 2017
5
有法院的同事吗？想请教下现行法律有什么漏洞
|
 |
xidianlzFeb 17, 2017
6
有福彩中心的同事吗？想请教下下一期中奖号码是多少
|
 |
quietcoderFeb 17, 2017
7
有监狱的同事吗？想请教一下怎么越狱
|
 |
jixiangqdFeb 17, 2017
8
|
 |
HGladIatorFeb 17, 2017 via iPhone
9
有钻石矿井的同事吗？想请教一下怎么哪点儿回家
|
 |
expkzbFeb 17, 2017
10
看标题，楼主应该在豆瓣工作
|
 |
yopmingFeb 17, 2017
13
我觉得楼主是也要建立反爬机制吧
|
 |
lhbcFeb 17, 2017 via iPhone
14
有银行的同事吗？我想请教下小型机的和审计系统的 root 密码。
|
 |
FamioFeb 17, 2017
16
我知道有一个人知道，而且这个人开发了收集豆瓣小组里妹子福利图片的 app ……
|
 |
ywgxFeb 17, 2017
17
入职豆瓣，加白名单自己的 IP
|
 |
sunchenFeb 17, 2017
18
没什么反爬啊
|
|
lhbcFeb 17, 2017 via iPhone
19
@expkzb 如果楼主是豆瓣员工，在公共论坛讨论公司机密。最轻最轻的处罚应该是开除，如果造成信息安全事故，可能还得承担民事或者刑事责任。
如果楼主不是豆瓣员工，那一定是伸手惯犯。 |
 |
em70Feb 17, 2017 via Android
21
豆瓣防盗链就是按频率的，白天一分钟超过 40 次就出验证码，晚上放宽到 60
|
 |
okboomFeb 17, 2017
22
代理就能解决，邪恶点用 tor 就可以( ╯□╰ )
|
 |
wmttomFeb 17, 2017 via iPhone
23
以前做过的豆瓣抓取是，伪装真实浏览器 cookie ，每个 cookie 每分钟请求几十次，高频率容易被封 ip ，保持出验证码的低频多代理。然后出验证码都是英语单词，简单处理下背景，找个 OCR 接口一调，再做下单词纠错，自动提交验证码继续抓。
|
 |
xrlinFeb 18, 2017
24
我的 ip 也被拉黑了，今天用 pyspider 爬取一些豆瓣的一些信息拿来练习下数据分析つ﹏⊂
|
 |
IanPeverellFeb 20, 2017 via iPhone
25
可能会根据你的请求频率，短时间内请求数量，以及请求间隔是否有规律
所以我的想法是多代理，设随机不少于一定数值的延迟 |
Select Language