禁止蜘蛛和允许蜘蛛的robots.txt示例 作者：时鹏亮 | 更新时间：07/05/2016 06:20:00禁止蜘蛛：User-agent: *Disallow: /允许蜘蛛User-agent: *Allow: /[......]阅读全文