什么是Robots?Robots写法规则与提交

  • A+
所属分类:SEO基础教程视频
        一、什么是Robots?
        首先我们要来搞清楚这个名词。
也就是我们说的robots协议:
        spider在访问一个网站时,,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。Robots.txt文件一般放在网站的根目录底下,是搜索引擎与网站之间的一个协议,也是蜘蛛爬取的第一个文件。
       例如:http://www.hao18258.com/robots.txt这个文件,spider首先会检查该网站中是否存在。
云秀seorobots写法
       二、那什么情况下使用robots文件呢?它为什么会如此重要?
       1. 我们的网站上保存着很多的私密信息(例如:个人信息,用户信息,后台账号密码,js,css,后台,数据库等等),为保护网站隐私,防止信息泄露这时我们就需要使用robots文件进行屏蔽;
       2. 网站根目录底下有很多的文件,如果所有的文件都要蜘蛛抓取,那抓取速度就很慢了,会影响我们网站的质量,因此站在优化的角度,需要蜘蛛合理地抓取网站资源;
       3. 在网站上面通常有一些不重要的页面,例如:在线留言、联系我们,这些页面即使被蜘蛛抓取了也是无用的垃圾页面,也需要robots文件进行屏蔽。
       三、Robots写法规则与提交
       Robots文件是已经被前人定义好了的,我们在写时只用遵守书写规则就会生效。
robots格式
User-agent: *
Disallow: /
Allow: /

      以下是该协议要用到的代码:
User-agent: 用户代理,定义搜索引擎类型,指定对哪些爬虫有效(如:Baiduspider Googlebot)
Disallow: 定义禁止抓取的地址
Allow: 定义允许被抓取的地址

"*"和"$"的含义
Baiduspider支持使用通配符"*"和"$"来模糊匹配url。
"$" 匹配行结束符。
"*" 匹配0或多个任意字符。

     下面举例写法规则:
要屏蔽整个网站,使用正斜线即可:
User-agent: *
Disallow: /
要屏蔽某一目录以及其中的所有内容,在目录名后添加正斜线:
User-agent: *
Disallow: /目录名/
要屏蔽某个具体的网页,就指出这个网页:
User-agent: *
Disallow: /网页.htm
要屏蔽网站上的动态图片:
User-agent: *
Disallow: /*?*
要屏蔽网站上的cssjs文件:
User-agent: *
Disallow: /*.js$
Disallow: /*.css$
        那么如何提交robots文件呢?
我们这里用百度为例:
1.首先我们要把写好的robots.txt文件上传到我们的网站根目录
如图:
robots上传网站根目录
2.我们要进入百度站长平台找到robots,然后选择自己要提交的验证域名,然后点击检测并更新。(百度站长平台:http://zhanzhang.baidu.com/robots)如图:
百度站长robots
robots检验生交
3、我们如何进行校验那个文件或页面是负让屏蔽呢?请看下图:
robots如何检测
下面是我自己网站的一个robots文件
User-agent: *
Disallow: /data/
Disallow: /install/
Disallow: /ad*
Disallow: /tag*
Disallow: /?m=article&a=tag&k=*
Disallow: /*?$
Disallow: /*.js$
Disallow: /static/
Disallow: /thinkphp/
Disallow: /web.config/
Sitemap: http://www.hao18258.com/sitemap.xml
Robots协议代表的是一种契约精神,只有遵守了才能保证我们网站信息的安全,写好以后我们可以到百度站长平台提交验证一下是否书写正确,这样心里才好有个底呀!
  • 云秀seo的微信
  • 云秀seo的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin
湖南株洲云秀SEO

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: