禁止蜘蛛:

User-agent: *
Disallow: /

允许蜘蛛

User-agent: *
Allow: /

Related Posts: 禁止蜘蛛和允许蜘蛛的robots.txt示例 :