有个自己用的域名不想被收录，但是居然被收录了。。。 Google 和百度都有。可以防止被收录吗。 robots.txt 只是'由于此网站的 robots.txt ，系统未提供关于该结果的说明 - 了解详情。'
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 4012 days ago, the information mentioned may be changed or developed.
Supplement 1 · Nov 12, 2015
自己的一些工具，各种特殊权限。被爬虫抓不太好。很感谢大家的回复，我选择了蜘蛛返回 404 。
Supplement 2 · Nov 14, 2015
其实看到很多人说 robots ，我不是在主题里就说了吗，没有用地
 |
LiangNov 11, 2015
1
user-agent 来自蜘蛛就 404 ，这样可以吗？
|
 |
miyukiNov 11, 2015
2
不用 Chrome
|
 |
manusNov 11, 2015
3
不解析域名 自己访问设置 host
|
 |
dphdjyNov 11, 2015
4
那么这个网站干嘛的~~
|
 |
imn1Nov 12, 2015
5
你应该开到暗网里面
|
 |
Hello1995Nov 12, 2015 via Android
7
我干过这么中二的事情。
方法一： robots.txt 。但是可能有些蜘蛛不遵守… 方法二：屏蔽蜘蛛 IP 。 但是工程量大… 方法三：屏蔽 UA 。 简单屏蔽 spider 和 bot 关键字… |
 |
aluo1Nov 12, 2015
8
是不是用 cgi 写的网页不会被爬？
求指教 :-) |
 |
9
全站 flash
|
1 |
kindjeffNov 12, 2015
10
AJAX 返回数据，不会被搜素引擎爬取
|
 |
franticonionNov 12, 2015
11
那就写个脚本刷 server 的 access log 了 屏蔽所有 spider 的 user agent 或者 ip
|
 |
mconeNov 12, 2015
12
你就是裸 ip 不绑域名照样能被爬到，更何况你已经有域名指过去了……
@Hello1995 说的方法貌似还可以，但是还得加上一条，不许任何人使用 chrome/360 浏览器访问你的网站（搜狗有没有我还不知道，但是，我觉得吧…………），这俩浏览器都会根据你输入的网址去爬的 多说一句，以上两个浏览器都是我当年测试过的，不保证现在还是这样，有兴趣的话你可以弄个很奇葩的 N 级域名指过去，指到一个随机生成文字的静态页面上测一测。 |
 |
crazycenNov 12, 2015 via Android
14
网站不要监听 80 443 端口
|
 |
imlinhanchaoNov 12, 2015
15
<meta name="robots" content="noindex, nofollow, nosnippet, noarchive">
|
 |
frozenshadowNov 12, 2015
16
检测一下访问者的 8080 80 3306 。。。这种奇怪的端口有没有开
|
 |
datocpNov 12, 2015 via Android
17
qq 空间就因为有个人做了一个爬行网站，不得不加密码。现在自己的 blog 架在网上方便浏览，做了登录密码限制只允许自己看。
|
 |
fengyqfNov 12, 2015
18
检查某个 cookie ，如缺失或非法就返回 404 （或其它异常状态）
然后自己做个隐秘的地址生成该 cookie ，或在浏览器里手工设置 cookie-其实也算是暗网了。 |
 |
deadEggNov 12, 2015
19
robot.txt
not allow : /; 好像是这么写的 可以看看 http 权威指南 |
 |
raptorNov 12, 2015
20
简单加一个 basic auth 即可
|
 |
ChanneWNov 12, 2015
21
全部 js 生成 动态 dom
|
 |
quericyNov 12, 2015
22
自己访问 host 绑域名
站点设置只有自己本地绑的那个域名才能访问 |
 |
wubaiqingNov 12, 2015
23
robots.txt
``` User-agent: * Disallow: / ``` |
 |
realpgNov 12, 2015
25
做一个 http basic auth ，认证提示是 密码是 123 ，密码是 123 即可
|
 |
zhanluckyNov 12, 2015
26
所有页面的<head>里加上 noindex 标签：
<meta name="robots" content="noindex"> 不过注意，网站的 robots.txt 不能屏蔽搜索引擎，不然爬虫永远抓不到这个标签 |
 |
ajanNov 12, 2015
27
|
 |
int64agoNov 12, 2015
28
AngularJS
or 页面直接生成 SVG ，体验其实也很好 |
 |
gimpNov 12, 2015
29
后台生成图片，返回。
|
|
dphdjyNov 12, 2015
30
想起来台湾那边那个 PPT 论坛。。。绝对不会被抓取~
|
 |
31
 |
 |
penjianfengNov 12, 2015
32
@sneezry 好主意，赞一个！
|
 |
hei1000Nov 12, 2015
33
存在本地吧
|
 |
learnshareNov 12, 2015
34
Robot 规则
|
 |
caixiexinNov 12, 2015
35
放点能被 GFW 认证的信息，然后国内各大搜索引擎就屏蔽了。
再放点 18x 的东西，谷歌搜索默认也不显示了 =。= |
 |
lenovoNov 12, 2015
36
|
 |
leavicNov 12, 2015
37
内容全部用 javascript 呈现
|
 |
TinkNov 12, 2015 via iPhone
38
全站 ajax 可以
|
 |
blahgeekNov 12, 2015 via iPhone
39
为什么没有人说验证码呢？
|
 |
hqs123Nov 12, 2015
40
这个很难做到把...
|
 |
bk201Nov 12, 2015
42
既然你自己的限制 ip 访问好了
|
 |
FelldeadbirdNov 12, 2015
44
@kindjeff ajax 返回数据，谷歌照样抓。 太小看现在的技术了
|
|
dphdjyNov 12, 2015
47
|
 |
hantsyNov 12, 2015
49
添加 robox 在 HTTP Server 。。。
|
|
hantsyNov 12, 2015
50
@int64ago AngularJS 就我的经验看，只有百度蠢，解析不了指令，做 SEO 需要额外的步骤。其它的 Google ， Yahoo ， Bing 不需要任何设置都一样爬得出来。
|
|
hantsyNov 12, 2015
51
@kindjeff 现在针对 Ajax ， SPA 程序的专门 SEO 优化的项目大把。 Google 默认好像就根本不需要优化就可以爬 AngularJS 等。
|
 |
vmebehNov 12, 2015 via Android
52
主页用 js 跳转一下
|
 |
flowfireNov 12, 2015
53
除了 ban ip 之外，其他的都是防君子不防小人的做法。
伪装 UA 又不是什么很难的事 |
 |
ericlsNov 13, 2015
55
放到 tor 里
|
|
lenovoNov 14, 2015
56
昨天把 36l 的.htaccess 换成这样貌似也可以阻止爬虫， Serf 是 pagespeed 的 UA
Options -Indexes SetEnvIf User-Agent "^Mozilla" good_UA SetEnvIf User-Agent "^Serf" good_UA <Limit GET HEAD POST> order deny,allow allow from env=good_UA deny from all </Limit> |
Select Language