有修改 UA 为搜索引擎蜘蛛的，但是这招越不越不管用，因为这积累一阵日志后就较容易判定出来真实蜘蛛 IP。
另外有个 修改 referer 取巧的方法，https://www.yuanrenxue.com/crawler/crawler-tricks-2.html
另外有个 修改 referer 取巧的方法，https://www.yuanrenxue.com/crawler/crawler-tricks-2.html
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2894 days ago, the information mentioned may be changed or developed.
 |
largecatDec 7, 2018 via Android
1
谢谢楼主无私分享
|
 |
paradoxsDec 7, 2018
2
爬虫怎么入门呢。
|
 |
3
这不是基本操作吗
|
4 |
4
@largecat 多谢
|
|
5
@paradoxs Python requests 库用起来就入门了
|
 |
zhangzilongDec 7, 2018
6
厉害了，老哥。我爬虫被封禁了好几天，用这招解决了。
|
|
7
@zhangzilong 你不是我的托吧， 老哥？
|
|
zhangzilongDec 7, 2018
8
真不是，老哥。正好看到了这篇文章，然后就试了下，完美解决。
|
 |
kba977Dec 7, 2018 via iPhone
9
这不是常规操作么，手动狗头
|
 |
kosmosrDec 7, 2018
10
所以怎么修改 referer
|
 |
ho121Dec 7, 2018 via Android
11
修改 referer 确实是常规操作
|
 |
Eirxxx69Dec 7, 2018
12
需要用户权限的访问的网页也可以通过这个方法访问么
|
 |
skylancerDec 7, 2018
13
老实说修改 referer 不是常识么...
|
 |
14
上面说用这招解决了问题的，只能说连入门都还没有入门
|
 |
rootxDec 7, 2018
15
知道了 准备堵
|
 |
agdholeDec 8, 2018 via Android
16
专门有 fake 库循环就完事了
|
|
17
@agdhole 那个不能生成 referer
|
|
18
@Eirxxx69 没法的
|
 |
whatsmyipDec 8, 2018
19
感觉像是在逛博客评论区
楼主既然是来 v 站引流的，至少得放个摘要吧 |
 |
ErgeAIADec 8, 2018
20
很好
|
|
21
@Meli55a 古德
|
|
zhangzilongDec 10, 2018
22
@tumbzzc 看把你能的，我又不是做这个的。装什么 B 呢
|
|
23
@zhangzilong 我也不是，但是就是比你厉害，咋滴？看不惯就 block
|
 |
raawaaDec 12, 2018
24
碰到验证码、甚至还会判断 selenium 行为的网站……只好流下没技术的泪水。
|
 |
locozDec 12, 2018
25
 基本操作都能水一贴 |
|
zhangzilongDec 18, 2018
26
@tumbzzc 没地方找优越感了？
|
|
zhangzilongDec 18, 2018
27
@tumbzzc 什么玩意儿都有？
|
|
28
@zhangzilong 是的，就是找优越感，反正就是比你厉害，可以滚了
|
|
zhangzilongDec 19, 2018
29
@tumbzzc 狗玩意儿，你怎么不滚呢。爸爸开始和你说话了吗？你比比什么呢
|
|
zhangzilongDec 19, 2018
30
@tumbzzc 你从哪里感觉比我厉害，儿子？
|
|
zhangzilongDec 19, 2018
31
@tumbzzc 生活是不是不如意呢？会不会说话？
|
|
zhangzilongDec 19, 2018
32
@tumbzzc 你爸爸没有教过你与人为善？喷子，和你有什么关系呢。素质呢
|
|
zhangzilongDec 19, 2018
33
@tumbzzc 你赶紧有多远滚多远吧
|
|
34
@zhangzilong 真是疯狗
|
|
zhangzilongDec 19, 2018
35
@tumbzzc 你先告诉我，你爸爸有没有教你与人为善？
|
|
zhangzilongDec 19, 2018
36
@tumbzzc 我碰到人，我就是人。碰到狗就是狗。
|
|
37
@zhangzilong 啧啧，看看自己说过的话吧，疯狗，有脸说别人？
|
|
38
@zhangzilong 再见了，疯狗，也许你这辈子都不会知道自己多无知
|
Select Language