当前您在:首页 > SEO教学 > robots编写秘籍,新手必看!

robots编写秘籍,新手必看!

来源:村仔SEO博客 热度:

  当我们的网站上线之后,一定会有一些不想让百度抓取的页面、文件,针对这种问题,我们就要使用协议去屏蔽。那么robots究竟怎么写呢?

  一、什么是搜索引擎协议:

  搜索引擎协议也就是我们常说的robots.txt。这是我们网站和搜索引擎之间的协议。当搜索引擎来到我们网站的时候,会先看一看有没有这个文件,在进行下一步的抓取。但是需要注意的是,这个协议只是我们单方面的,搜索引擎遵守与否,我们管不了。但是正常情况下搜索引擎会遵守这个协议。

  robots.txt语法:

  1.基本语法: User-agent 定义协议的搜索引擎。

  Disallow:不允许抓取

  Allow:允许抓取

  *:通配符,代表所有

  $:结束符

  2.详情讲解: User-agent: * 所有的搜索引擎都要遵守。

  PS:

  1.英文的首字母一定要大写。

  2.问号一定是英文状态下的。

  3.问号之后一定要有一个空格。

  User-agent: Baiduspider 针对百度的协议

  Disallow: / 屏蔽全站。

  Disallow: /can/ 屏蔽can文件下的所有文件。

  Allow: /can/123 屏蔽can文件下的所有文件,但是允许收录123。

  Disallow: /*.jpg$ 屏蔽所有的图片文件。

  PS:使用通配符,一定要有结束符。不然可能导致正常的路径被屏蔽。

  二、那些情况需要使用robots

  1.统一路径

  在我们的网站中,指向页面的路径一定是有且只有一个。一旦多途径指向一个页面,会导致百度不知道收录那个页面。所以我们只要屏蔽了一个,让百度收录我们想让收录的。

  2.搜索路径

  如果我们网站中有搜索框,那么我们就要把搜索结果页面给屏蔽掉。目的就是为了防止有人使用这个搜索框捣乱。

  3.标签路径

  如果我们网站有标签页面,这个标签页面就是中文的链接,中文链接百度不认识,所以要屏蔽。

  4.js文件

  对于js文件或者其他无意义的文件,我们都可以屏蔽掉。

  注意事项:

  1.基础语法中PS的点。

  2.生效时间 robots是我们和搜索引擎之间的一个单方面的协议,不是我们今天写上,明天百度就会遵守。想让百度遵守是需要一个过程的,一般情况下是两个月。但是也不排除当天写,当天生效。所以在更改robots的时候,一定要小心小心再小心。一旦你的robots错了,对整个网站的影响是巨大的。

  3.不要随便的屏蔽整站 一些新手在做网站的时候,没有规划,随搭随建,网站不能一下子做好,经常做个半截,所以很多新手就会将我们的网站全部屏蔽掉。如果你真的这么做了,那么我要恭喜你,蜘蛛可能在未来的两个月中不来访问你的网站。即便是你去请蜘蛛也不会来。所以这里给新手的建议就是一定要对网站规划好,一次性搭建完成。等待收录。

 

1.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;
2.网友投稿可能会经我们编辑修改或补充。
转载请注明出处:http://www.cunzaiseo.com/seojiaoxue/157.html

上一篇:如何选择合适自己的模板做站? 下一篇:TF-IDF算法原理公式以及对SEO优化的重要性
说点什么吧
  • 全部评论(0
    还没有评论,快来抢沙发吧!
相关文章
热门文章
  • script标签是什么意思?
    script标签是什么意思? script标签用于定义客户端脚本,比如JavaScript,script元素既可以包含脚本语句,也可以通过src属性指向外部脚本文件。必需的type属性规
  • 【杭州西湖区SEO】如何提高用户的体验度?
    由于现在搜索引擎漏洞百出,现在的seo几乎是一团乱水,一个毫无体验的网站,一个几乎,没有任何内容的网站,都能上搜索引擎的首页,但搜索引擎一旦
  • head标签中包含的标签有哪些?都有哪些用法?
    head标签中包含的标签有哪些?都有哪些用法? 1.base标签 所有浏览器均支持base标签 定义和用法 base标签为页面上的所有链接规定默认地址或默认目标。 通
  • description是什么意思?description标签正确用法
    description是什么意思? 对于seo来说都知道description就是页面的描述,description对网站关键词排名有着至关重要的作用,我们常说的TDK三大标签中的D就是descri
  • inurl是什么意思?
    inurl是什么意思?inurl:指令用于搜索查询词出现在URL中的页面。百度和Google都支持inurl:旨令。inurl:指令支持中文和英文。比如搜索“inurl:搜索引擎优化”,
  • body标签是什么意思?
    body标签是什么意思? body 元素是定义文档的主体。body 元素包含文档的所有内容(比如文本、超链接、图像、表格和列表等等。)body是用在网页中的一种