这几天抓取新浪微博,每个请求随机一个代理,每半小时换一个账号,过了几个小时,立马几十个账号被冻结。很郁闷。。。有高手知道怎么对付新浪微博的反爬虫么?
这几天抓取新浪微博,每个请求随机一个代理,每半小时换一个账号,过了几个小时,立马几十个账号被冻结。很郁闷。。。有高手知道怎么对付新浪微博的反爬虫么?
|
maowuApr 14, 2016 via Android
1
不懂爬虫,不过每个请求随机一个代理会不会太频繁了
|
|
cdwydApr 14, 2016
2
哪一个正常用户的 IP 会一直变来边去的,这也太明显了。
|
|
JJaicmkmyApr 14, 2016 via iPad
3
每一次换账号时换代理,同一个账号不要用不同的代理。
|
|
XrongApr 14, 2016
4
频率别开太高,基本没啥事,好奇楼主的登录是 cookies 式的么?
|
|
5
是的,我是用 cookie 登陆的。先备份几十个 cookie 。。。淘宝一元 5 个账号。
|
|
p1094358629May 8, 2018
6
账号用来干嘛??
|