WordPress搜索引擎蜘蛛爬行记录代码

释放双眼,带上耳机,听听看~!

     新站或网站收录有问题时,就会可能需求连续的搜索引擎蜘蛛的抓取环境。网站文章不收录时,第一时间就是要看看网站蜘蛛抓取的日志,但通过访问服务器的方式查看蜘蛛日志有点麻烦,我们可以用代码来实现给WordPress网站添加记录蜘蛛抓取日志的功能!

1.WordPress将以下代码复制主题functions.php文件中

// 记录蜘蛛访问记录
function get_naps_bot(){
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Googlebot';
}
if (strpos($useragent, 'msnbot') !== false){
return 'MSNbot';
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoobot';
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baiduspider';
}
if (strpos($useragent, 'sohu-search') !== false){
return 'Sohubot';
}
if (strpos($useragent, 'lycos') !== false){
return 'Lycos';
}
if (strpos($useragent, 'robozilla') !== false){
return 'Robozilla';
}
return false;
}
function nowtime(){
date_default_timezone_set('Asia/Shanghai');
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="robotslogs.txt";
$time=nowtime();
$data=fopen($file,"a");
$PR="$_SERVER[REQUEST_URI]";
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n");
fclose($data);
}

2.创建robotslogs.txt文件

  • 在网站根目录下创建 robotslogs.txt 文件可写权限,最好是:777或755权限!

在完成上面的步骤之后,查看蜘蛛日志

访问域名+robotslogs.txt即可!https://域名/robotslogs.txt,例:https://wuzuhua.cn/robotslogs.txt

 

人已赞赏
Wordpress网站优化

WordPress 限制文章复制 F12 右键等功能

2020-6-16 23:52:52

手机软件

一款免费观看B站“港澳台”地区动漫番剧APP

2020-4-3 16:36:20

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索