Site icon 时鹏亮的Blog

百度蠢蜘蛛

请知悉:本文最近一次更新为 7年 前,文中内容可能已经过时。

最近发现博客响应时间很慢,检查了下日志,发现竟然是百度的蠢蜘蛛在那死爬,爬的链接示例:

/software-exp/page/2 -teamviewer o o_html/page/100/page/100/page/3/page/2/page/2/page/3/page/2/page/3/page/2/page/3/page/3/page/115/page/4/page/3/page/2&-teamviewer

这问题之前遇到过,只不过当年改了代码,后来升级博客就覆盖掉了,也没见有什么问题就没再管,今天再次发病,索性翻了下存档,按当年方式处理~

真是懒得吐槽,直接硬改index.php:

$url = $_SERVER["REQUEST_URI"];
if(strpos($url,' o o')!==false){
$url = substr($url, 0, strpos($url,' '));
header("Location:域名/{$url}/");
die();
}

解决问题~

2018.2.28 补充,后来发现这样不是还是要走PHP吗?直接nginx判定不就好了吗?结果location尝试半天不灵……
https://stackoverflow.com/questions/49022484/how-to-use-regex-like-page-page-in-nginx-location
然后大神指出,特么的那是参数啊,那根本不是链接!阿西吧,一语惊醒梦中人,直接:

if ($query_string ~ "/page/.*/page/") {
return 404;
}

即可。


如您从本文得到了有价值的信息或帮助,请考虑扫描文末二维码捐赠和鼓励。

尊重他人劳动成果。转载请务必附上原文链接,我将感激不尽。


与《百度蠢蜘蛛》相关的博文:

Exit mobile version