robots.txt运行某个蜘蛛禁用其他蜘蛛的写法

请知悉：本文最近一次更新为 8年前，文中内容可能已经过时。

下述代码实现了允许百度，禁用其他蜘蛛的功能呢。

User-agent: BaiduSpider
Disallow:
User-agent: *
Disallow: /

其他写法总结如下：
（1）禁止所有搜索引擎访问网站的任何部分。

User-agent: *
Disallow: /

（2）允许所有的robots访问，无任何限制。

User-agent: *
Disallow:
或者
User-agent: *
Allow: /

还可以建立一个空文件robots.txt或者不建立robots.txt。

（3）仅禁止某个搜索引擎的访问（例如：百度baiduspider）

User-agent: BaiduSpider
Disallow:/

（4）允许某个搜索引擎的访问（还是百度）

User-agent: BaiduSpider
Disallow:
User-agent: *
Disallow: /

这里需要注意，如果你还需要允许谷歌bot，那么也是在“User-agent: *”前面加上，而不是在“User-agent: *”后面。

（5）禁止Spider访问特定目录和特定文件（图片、压缩文件）。

User-agent: *
Disallow: /AAA.net/
Disallow: /admin/
Disallow: .jpg$
Disallow: .rar$

这样写之后，所有搜索引擎都不会访问这2个目录。需要注意的是对每一个目录必须分开说明，而不要写出“Disallow:/AAA.net/ /admin/”。

以上内容整理自：https://www.chinaz.com/web/2011/1117/221058.shtml

如您从本文得到了有价值的信息或帮助，请考虑扫描文末二维码捐赠和鼓励。

如本文对您有用，捐赠和留言 将是对我最好的支持~（捐赠可转为站内积分）
如愿意，请向朋友推荐本站，谢谢。

尊重他人劳动成果。转载请务必附上原文链接，我将感激不尽。

时鹏亮的Blog