您现在的位置是:首页 > SEO教学 > SEO百科 > SEO百科

robots是什么意思?robots.txt文件该怎么写?

来源:村仔SEO博客 2021-12-31 人已围观

简介:robots是什么意思? robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一

  robots是什么意思?

  robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

  robots.txt文件放在哪里?

  robots.txt文件应该放在网站根目录下。举例来说,当robots访问一个网站时,首先会检查该网站中是否存在这个文件,如果机器人找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。

  robots.txt文件怎么写?

  robots.txt文件的写法,以村仔SEO博客为例:

  1、User-agent:(定义搜索引擎)示例:

  User-agent: *(定义所有搜索引擎)

  User-agent: Googlebot (定义谷歌,只允许谷歌蜘蛛爬取)

  User-agent: Baiduspider (定义百度,只允许百度蜘蛛爬取)

  不同的搜索引擎的搜索机器人有不同的名称,谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。

  2、Disallow:(用来定义禁止蜘蛛爬取的页面或目录)示例:

  Disallow: /(禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下)

  Disallow: /admin (禁止蜘蛛爬取admin目录)

  Disallow: /abc.html (禁止蜘蛛爬去abc.html页面)

  3、Allow:(用来定义允许蜘蛛爬取的页面或子目录)示例:

  Allow: /admin/test/(允许蜘蛛爬取admin下的test目录)

  Allow: /admin/abc.html(允许蜘蛛爬去admin目录中的abc.html页面)

  4、匹配符 “$”

  $ 通配符:匹配URL结尾的字符

  5、通配符 “*”

  * 通配符:匹配0个或多个任意字符

  robots文件的作用有哪些?

  1. 引导搜索引擎蜘蛛抓取特定的内容或者栏目;

  2. 屏蔽对搜索引擎不友好的链接,特别是网站版面大幅度修改或URL重写优化的时候;

  3. 屏蔽死链和404错误页面;

  4. 屏蔽无内容、无价值的页面,比如客户留言页面;

  5. 屏蔽重复页面,如评论页面,搜索结果页面;

  6. 屏蔽任何不想被抓取,不想被收录的页面;

  7. 引导蜘蛛抓取网站地图。

  robots文件生成工具有哪些?

  1.站长工具 http://tool.chinaz.com/robots/

Tags: robots

随机博文

文章评论

    说点什么吧
    • 全部评论(0
      还没有评论,快来抢沙发吧!