最近搜东西时，发现微信的 robots.txt 文件禁止了除首页和几个页面的爬虫索引： https://mp.weixin.qq.com/robots.txt
User-Agent: *
Allow: /$ #关于此指令解释在链接 [2] 文末
Allow: /debug/
Allow: /qa/
Allow: /wiki
Allow: /cgi-bin/loginpage
Allow: /cgi-bin/wx
Disallow: /
作为中文互联网最大的内容平台之一，微信竟然只对其他搜索引擎开放了几个页面[1]，如果需要搜微信公众号的文章必须得在微信内，或者腾讯系搜索引擎——搜狗内进行搜索，这是否已经涉嫌违反了《反垄断法》？
[1] https://www.google.com/search?q=site:mp.weixin.qq.com
[1] https://www.baidu.com/s?wd=site%3Amp.weixin.qq.com
[2] https://developers.google.com/search/reference/robots_txt
 |
1
不涉嫌。
这是知识产权问题。 |
 |
2
不涉嫌，这是 WWW 的设计问题，robots.txt 就是一个行业自律协议而已，没有法律效力的。
|
 |
3
微信本身就涉嫌垄断了，还需要管 robots 文件？
|
 |
4
|
 |
helionzzzDec 25, 2020
5
一个日活 12 亿的软件本身已经处在实质垄断的地位了，不缺你一个行业自律 txt
|
 |
JoooooooooDec 25, 2020
6
那淘宝也应该开放百度抓取?
|
 |
7
这个文件完全没有任何违规，但是微信垄断也不需要这个文件来证明，我们从它的行为已经能判断出它垄断了。
|
|
PureWhiteWuDec 25, 2020
8
@lakehylia robots.txt 有法律效力。
|
|
9
|
 |
11
南山必胜客了解下
|
 |
natashahollyzDec 25, 2020
12
第一 wx 本身就是垄断了，和 robots 无关
第二 你家不让人进，这不是很正常吗？ |
 |
duhongleDec 25, 2020
13
robots 可以遵守也可以不遵守。。。关键是你爬取微信文章使用。。。微信直接搞死你
|
 |
EminemWDec 25, 2020 via iPhone
14
想啥呢？
|
 |
glennv2exDec 25, 2020
16
robots 就是个君子协议
|
 |
passerbytinyDec 25, 2020 via Android
17
如果微信公众号占有市场主导地位，那么这么做是垄断的。在这一点上确实没垄断，因为微信公众号在内容平台市场不具有主导地位，事实上也不可能有任何商业公司能够主导国内的内容平台市场。
|
 |
prodcdDec 25, 2020
18
https://www.taobao.com/robots.txt
User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: / |
 |
xhpan10Dec 25, 2020
19
是垄断了。。用户发的文章，他不能去强制决定这篇文章不能被其它搜索引擎收录
|
 |
20
写爬虫还理直气壮了咋不要求微信给你个 api 直接调呢
|
 |
lcnrDec 25, 2020
24
求问如果直接在 robots.txt 里写了禁止爬虫的目录，比如后台 admin 目录。。。但是通过网址直接打开 http://xxx.com/robots.txt 不就看到了后台的地址？
|
 |
mmdsunDec 25, 2020 via Android
25
腾讯：只要我招聘国家退休官员够多，永远别想搞我反垄断。（梗来源于腾讯招要求）
|
 |
watzdsDec 25, 2020 via Android
26
说得好！淘宝禁止百度爬商品带的头
|
 |
UrutoraDec 25, 2020 via iPhone
27
整天盯着蚊子吸你血，吸血鬼当没看见，服了。行政机关的垄断算不算垄断呢？怎么没人不服？
|
 |
iamsad3508Dec 26, 2020 via Android
28
1.法律.txt 不改也行
2.以前有 MSN，QQ 不构成垄断。现在有钉钉，说不定还是不能构成垄断呢 3.360 的案子好像是说明 robot 还是有一些效力的吧？ |
|
lcnrDec 26, 2020
30
@dfkjgklfdjg #29 明白了，先禁用所有，然后打开指定目录，多谢
|
4
Select Language