下述代码实现了允许百度,禁用其他蜘蛛的功能呢。
User-agent: BaiduSpider
Disallow:
User-agent: *Disallow: /
其他写法总结如下: (1)禁止所有搜索引擎访问网站的任何部分。
User-agent: *Disallo[......]
下述代码实现了允许百度,禁用其他蜘蛛的功能呢。
User-agent: BaiduSpider
Disallow:
User-agent: *Disallow: /
其他写法总结如下: (1)禁止所有搜索引擎访问网站的任何部分。
User-agent: *Disallo[......]