当前位置:空木白博客 > 网站SEO > 正文
空木白

作者:空木白

手机扫码查看

网站SEO优化中robots的写法

网站SEO优化中robots的写法
站长朋友都知道搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider我们俗称蜘蛛,它在访问一个网站时,会首先会检查该网站的根域下是否有一个robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您robots.txt中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

但是很多朋友只知道复制别人给出robots写法,自己却没有真正了解里面的内容是什么意思,其说说起来并不复杂,robots.txt里面通常包含三个规则:

1、User-agent:指定搜索引擎蜘蛛。后面如果是*,那就代表所有的搜索引擎,如果单独写明:Baiduspider,那就是指百度蜘蛛。

2、Disallow :指定禁止收录的地址。后面如果是/,那就是指所有

3、Allow: 指定允许收录的地址

了解了这三个规则,就知道了robots中每一行的含义。我们也就能更有针对性的部署我们的robots文件了,需要注意的是冒号后面必须有一个空格。

例如禁止所有搜索引擎收录:

User-agent: *
Disallow: /

允许所有搜索引擎收录:

User-agent: *

Allow: /

下面分享一个wordpress程序的robots文件写法:

User-agent: *

Disallow: /comments/feed/

Disallow: /*/trackback

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/themes/

Disallow: /*?replytocom=

Disallow: /*/comment-page-*

Disallow: /?r=*

Disallow: /?p=*

Disallow: /page/

Allow: /wp-content/uploads/

上面的 User-agent:*意思就是对所有的蜘蛛进行定义,Disallow 是拒绝收录,我想大家都懂的。

 您阅读这篇文章共花了: 
未经允许不得转载:

作者:空木白, 转载或复制请以 超链接形式 并注明出处 空木白博客
原文地址:《网站SEO优化中robots的写法》 发布于2018-12-20

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

隐藏
变装
EA PLAYER &

历史记录 [ 注意:部分数据仅限于当前浏览器 ]清空

      00:00/00:00
      切换注册

      登录

      忘记密码 ?

      您也可以使用第三方帐号快捷登录

      Q Q 登 录
      微 博 登 录
      切换登录

      注册