我曾经尝试过在 robots.txt 中写明禁止收录,但是对百度无效,百度还是收录了。
其他搜索引擎没有测试
大家试验过有什么好办法吗
其他搜索引擎没有测试
大家试验过有什么好办法吗
|
1
deny 百度的 ua
|
|
2
ban 掉所有 useragent 有 baidu 的请求。
|
|
3
|
|
alittletrainAug 12, 2016
4
cd /
rm -rf ./* |
|
tasiguoAug 12, 2016
6
用 angular/backbone 和 ember 等等
|
|
testcaoy7Aug 12, 2016
7
不能被搜索引擎收入的网站叫做暗网,你应该搭建在 ZeroNet 、 FreeNet 或者 Tor 上
|
|
em70Aug 12, 2016
9
robots.txt 规则贴出来看看,是不是写错了
|
|
hackAug 12, 2016
10
ban 掉 useragent 看眼 log 很容易找到 baiduspider
|