这两天服务器端尝试写了个爬虫练练手，结果今上午突然抓取任何套了 CF 的站点都给我返回 403 Forbidden， 加了各种各样的 header 都 403 错误，没套 CF 的站点就抓取正常，这是怎么回事？
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 2940 days ago, the information mentioned may be changed or developed.
Supplement 1 · Oct 18, 2018
我在服务器上抓取我架设在这台机器上的网站都 403 了。。。(╯‵□′)╯︵┻━┻
13 replies • 2018-10-18 22:38:13 +08:00
 |
PHPer233Oct 18, 2018 via iPhone
1
cloudflare 有防御策略，你的 IP 地址已经被封了。
|
 |
stabcOct 18, 2018
2
登录 Cloudflare，Firewall -> rate limiting，然后你根据免费版的策略做应对就好了，大部分人用的还是免费版。
|
 |
3
Your IP address was blocked by CloudFlare.
|
 |
4
|
|
5
@alwayshere 对于爬虫或扫描器，CF 有权全局屏蔽
|
|
6
@mytsing520 以前我写爬虫，上百个进程爬几百万个页面，也没触发 CF 的防御机制。。。
|
|
7
@alwayshere 这不是一成不变的措施
|
|
8
@mytsing520 那有解封时间么？
|
 |
qyxxOct 18, 2018 via Android
9
被封了，说明选择 cf 作为 cdn 的确不错 2333
|
|
10
@alwayshere 你只能发信询问 CF 了，有些 IP 是永久封
|
 |
zhkrbOct 18, 2018
11
正好顺便问一句，有没有人碰到过绕过 cf 那个检测页面后，cookies 仍然只有__cfduid，没有 cf_clearance 的情况
|
 |
realpgOct 18, 2018
12
大快人心系列
|
 |
13
恭喜你的 IP 进入 Cloudflare 信誉低 IP 列表，换个新的 IP 吧。
|
1
Select Language