当前您在:首页 > SEO教学 > SEO百科 > robots是什么意思?

robots是什么意思?

来源:村仔SEO博客 热度:

  robots是什么意思?

  robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

  robots.txt文件放在哪里?

  robots.txt文件应该放在网站根目录下。举例来说,当robots访问一个网站时,首先会检查该网站中是否存在这个文件,如果机器人找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。

  robots.txt文件怎么写?

  robots.txt文件的写法,以村仔SEO博客为例:

  1、User-agent:(定义搜索引擎)示例:

  User-agent: *(定义所有搜索引擎)

  User-agent: Googlebot (定义谷歌,只允许谷歌蜘蛛爬取)

  User-agent: Baiduspider (定义百度,只允许百度蜘蛛爬取)

  不同的搜索引擎的搜索机器人有不同的名称,谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。

  2、Disallow:(用来定义禁止蜘蛛爬取的页面或目录)示例:

  Disallow: /(禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下)

  Disallow: /admin (禁止蜘蛛爬取admin目录)

  Disallow: /abc.html (禁止蜘蛛爬去abc.html页面)

  3、Allow:(用来定义允许蜘蛛爬取的页面或子目录)示例:

  Allow: /admin/test/(允许蜘蛛爬取admin下的test目录)

  Allow: /admin/abc.html(允许蜘蛛爬去admin目录中的abc.html页面)

  4、匹配符 “$”

  $ 通配符:匹配URL结尾的字符

  5、通配符 “*”

  * 通配符:匹配0个或多个任意字符

  robots文件的作用有哪些?

  1. 引导搜索引擎蜘蛛抓取特定的内容或者栏目;

  2. 屏蔽对搜索引擎不友好的链接,特别是网站版面大幅度修改或URL重写优化的时候;

  3. 屏蔽死链和404错误页面;

  4. 屏蔽无内容、无价值的页面,比如客户留言页面;

  5. 屏蔽重复页面,如评论页面,搜索结果页面;

  6. 屏蔽任何不想被抓取,不想被收录的页面;

  7. 引导蜘蛛抓取网站地图。

  robots文件生成工具有哪些?

  1.站长工具 http://tool.chinaz.com/robots/

1.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;
2.网友投稿可能会经我们编辑修改或补充。
转载请注明出处:http://www.cunzaiseo.com/baike/112.html

上一篇:百度权重是什么意思? 下一篇:网站索引量是什么意思?
说点什么吧
  • 全部评论(0
    还没有评论,快来抢沙发吧!
相关文章
热门文章
  • script标签是什么意思?
    script标签是什么意思? script标签用于定义客户端脚本,比如JavaScript,script元素既可以包含脚本语句,也可以通过src属性指向外部脚本文件。必需的type属性规
  • head标签中包含的标签有哪些?都有哪些用法?
    head标签中包含的标签有哪些?都有哪些用法? 1.base标签 所有浏览器均支持base标签 定义和用法 base标签为页面上的所有链接规定默认地址或默认目标。 通
  • description是什么意思?description标签正确用法
    description是什么意思? 对于seo来说都知道description就是页面的描述,description对网站关键词排名有着至关重要的作用,我们常说的TDK三大标签中的D就是descri
  • inurl是什么意思?
    inurl是什么意思?inurl:指令用于搜索查询词出现在URL中的页面。百度和Google都支持inurl:旨令。inurl:指令支持中文和英文。比如搜索“inurl:搜索引擎优化”,
  • body标签是什么意思?
    body标签是什么意思? body 元素是定义文档的主体。body 元素包含文档的所有内容(比如文本、超链接、图像、表格和列表等等。)body是用在网页中的一种
  • title标签是什么意思?
    title标签是什么意思? 网站title(HTML语言制作网页的时候用来设置标题属性)向来作为网站优化最为重要的一部分,也是最为基础的开始(搜索结果展示页面