每天超过 5 万条这种错误日志
1.先查了下网站下面的这个目录.可以确认的是没有这个 /ys/fakeimg/目录,应该是从开始就没有存在过
2.403forbidden 是我 nginx 做了处理控制访问目录.
3.查了下下这些 ip 基本上都是属于百度爬虫,前天设置 Robots 文件禁止爬取这个目录,还是不停访问这个不存在的目录
4.虽然对我网站也没什么影响,表面上看不出来影响,但是每天那么多错误访问看着心里不舒服
5.现在我如何调查为什么百度的 ip 大量的访问这个不存在的目录呢?
下面是日志截图,隐藏了我自己网站域名了
https://wx1.sinaimg.cn/mw690/725fbea0gy1fq0foz14i3j219n0noq9x.jpg
This topic created in 3138 days ago, the information mentioned may be changed or developed.
 |
1
 |
 |
locktioncApr 4, 2018
2
/ys/fakeimg/有点像很久之前的永硕网盘的地址。。。
|
 |
7654Apr 4, 2018
3
查查这个域名&IP 历史，百度以前收录过了吧
|
 |
sisterthApr 4, 2018
5
如果网站正常收录，且排名不受影响的话，可以不用管，现在日志都没怎么看了，除了上新站的时候看一下蜘蛛的爬取记录
|
 |
aaronchou0Apr 4, 2018
8
怎么有点像我之前做的网站呢
|
|
9
@aaronchou0 什么意思?
|
Select Language