求分享阿里和腾讯云 ip 段，发现这些云上面太多的 bot 爬虫，要封掉它们

This topic created in 1822 days ago, the information mentioned may be changed or developed.

或者求运营同学的爬虫 ip 黑名单谢谢

爬虫

黑名单

bot

阿里

8 replies • 2021-08-11 14:27:53 +08:00

DavZhn

Aug 10, 2021

0.0.0.0/0

DavZhn

Aug 10, 2021

然后再搞个白名单

Foxkeh

Aug 10, 2021

你看是不是要的这个 http://as.chacuo.net/company

naver1

Aug 10, 2021

分享个我自己的垃圾屏蔽规则
#禁垃圾蜘蛛
if ($http_user_agent ~* "YandexBot|DotBot|SeznamBot|SemrushBot|YisouSpider|serpstatbot|Bytespider|TinEye-bot|WordPress|Datanyze|woorankreview|CCBot|BPImageWalker|SabsimBot|MJ12bot|SEOkicks|SlurpChina|1subscribers|DomainStatsBot|Qwantify|AhrefsBot") {
return 400;
break;
}

#禁部分爬取工具
if ($http_user_agent ~* "crawl|curb|git|Wtrace|Scrapy|python-requests|Go-http-client|python-requests" ) {
return 400;
break;
}

#禁特殊后缀
location ~* \.(asp|aspx|ashx|htaccess|ini|env|git|project|cgi|java|action|jsp|cfg|tpl|sql)$ {
return 400;
break;
}

herozzm

Aug 10, 2021

@DavZhn 不行的网址还是要给陌生人看的

@DT27 这是封锁 user_agent 啊，我遭遇的爬虫都是 win10 chrome 的特征，封了就变
@Foxkeh 没看到阿里云，腾讯云，亚马逊云，甲骨文云，google 云，微软云这些 ip 段，实际上这些爬虫都是不是在这些云上

leoking6

Aug 11, 2021 via iPhone

套 cf，源站给 cf 的 ip 白名单，再设置 cf 的防火墙规则，比如高威胁分数要求验证

cydian

Aug 11, 2021

查 ip whois 。根据公司反查整个公司注册的段。然后全部段拉黑。

FlyingShark

Aug 11, 2021

查 as 号，阿里云 IP 段封了

套 cf，国外 IP 威胁分数高的要验证。国内家宽 IP 早被艹烂了，就算了吧