您的位置:主页 > SEO优化教程 >

robots协议的认识与写法

2014-08-15作者:伟伟来源:未知次阅读

       昨天有一个朋友过来跟我抱怨,他说的的网站都都建起来了好几个月了,怎么还一直没有被收录呢,什么入口提交他也做了。我当时就给他看看,我说你网站都被robots给屏蔽了,你能收录那才怪呢。当然他就很茫然的问我,什么是robots啊??今天伟伟SEO就给大家介绍一下什么叫做robots协议,我们什么情况下用得到robots,robots应该怎么写。

什么是robots协议呢?

robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。比如说我们网站的会员数据,那是我们的个人隐私,是不想给所有的搜索引擎去抓取的,那我们就要用到这个robots协议去告诉搜索引擎,你不能来抓取我这部分数据。那它就不会抓取了。我们网站如过没有这个robots协议,那默认情况下,就是全站都会去抓取的。
robots协议图示说明

怎么去查看我们的网站有没有robots协议呢?
       很多人肯定会有疑问,robots这么重要,那么我们怎么去查看它呢?robots协议只能放在我们网站的根目录下面,放到别的地方蜘蛛会无法识别,这里深圳SEO优化教大家最简单的几种robots的查看方法。
      1.在我们的域名后面加上robots.txt,例如我的网站的robots查看,就输入: www.hwcseo.com/robots.txt  。
        robots协议域名查看方法
        2.利用我们的FTP 看看我们的根目录下是不是有robots.txt这个文件。
      robots协议FTP查看方法
 
robots协议写法是什么

    首先我们先认识一下robots 里面最常用到几个英文是什么意思,User-agent,它指的就是搜索引擎; Disallow 不允许抓取; allow 允许抓取; * 所有的通配符;$结束符。User-agent, Disallow, allow,后面都要跟上英文的冒号(:),User-agent 后面写搜索引擎名称。如果你的对像是发有搜索引擎,那就有*通配符来代替,如果你只针对百度,那你就写上Baiduspider;Disallow 后面写的就是你要屏蔽的文件夹路径,如你想屏蔽你根目录下的登陆信息,那你就写Disallow:/admin 后面不需要符号,然后另起一行写要屏蔽的下一个文件夹或网址,如果全站都屏蔽,那就直接用/代替就行。allow 的写法和Disallow 写法是一样的。格式如下图所示,
robots书写格式
我们再对*通配符和$结束符做深入的举例讲解:

用 * 号匹配字符序列:
您可使用星号 (*) 来匹配字符序列。例如,要拦截对所有以 private 开头的子目录的访问,可使用下列条目: User-Agent: Googlebot
Disallow: /private*/
要拦截对所有包含问号 (?) 的网址的访问,可使用下列条目:
User-agent: *
Disallow: /*?*
用 $ 匹配网址的结束字符
您可使用 $字符指定与网址的结束字符进行匹配。例如,要拦截以 .asp 结尾的网址,可使用下列条目: User-agent: Googlebot
Disallow: /*.asp$

robots生成器有没有呢?
如果你比较懒写,那你还可能有到站长工具的robots文件生成器,对我们的网站一键生成。robots生成器

   这是时候,你是否已经对robots协议及其写法都会了呢?在这里深圳SEO优化-伟伟SEO还是要提醒大家一点很多刚建站的人又懂一点点robots协议的Seoer容易犯的错误,那就是他认为他的网站现在内容还是不很多,还有一些要变更的地方,这时他怕造成死链,影响收录,就给网站写了个全站屏蔽。大家有没有想过一个问题,搜索引擎又不是你家的,不是你想要它来就要它来。你拒绝过别人了,你到时再向他示好,它可能就没有那么积极了。有的人更甚者会忘了把这个去掉,直到几个月后才想起来,这时候黄花菜都凉了。

       如果你觉得上面表达的不太清楚,你还可以看看伟伟SEO给你提供的视频教程。
 

         

凡本站注明“本站”或“投稿”的所有文章,版权均属于伟伟SEO或投稿人,未经本站授权不得转载、摘编或利用其它方式使用上述作品。本站已授权使用的作品,应在授权范围内使用,并注明“来源:伟伟SEO”并附上链接。违反上述声明者,本站将追究其相关法律责任。

编辑:深圳网站优化公司 关键词: robots协议

相关阅读:

网友评论

博主推荐

图文聚集

热门排行

最新文章