您现在的位置是:首页 > SEO教学 > SEO教学
robots编写秘籍,新手必看!
来源:村仔SEO博客 2020-07-12 人已围观
简介:当我们的网站上线之后,一定会有一些不想让百度抓取的页面、文件,针对这种问题,我们就要使用协议去屏蔽。那么robots究竟怎么写呢? 一、什么是搜索引擎协议: 搜索引擎协议也
当我们的网站上线之后,一定会有一些不想让百度抓取的页面、文件,针对这种问题,我们就要使用协议去屏蔽。那么robots究竟怎么写呢?
一、什么是搜索引擎协议:
搜索引擎协议也就是我们常说的robots.txt。这是我们网站和搜索引擎之间的协议。当搜索引擎来到我们网站的时候,会先看一看有没有这个文件,在进行下一步的抓取。但是需要注意的是,这个协议只是我们单方面的,搜索引擎遵守与否,我们管不了。但是正常情况下搜索引擎会遵守这个协议。
robots.txt语法:
1.基本语法: User-agent 定义协议的搜索引擎。
Disallow:不允许抓取
Allow:允许抓取
*:通配符,代表所有
$:结束符
2.详情讲解: User-agent: * 所有的搜索引擎都要遵守。
PS:
1.英文的首字母一定要大写。
2.问号一定是英文状态下的。
3.问号之后一定要有一个空格。
User-agent: Baiduspider 针对百度的协议
Disallow: / 屏蔽全站。
Disallow: /can/ 屏蔽can文件下的所有文件。
Allow: /can/123 屏蔽can文件下的所有文件,但是允许收录123。
Disallow: /*.jpg$ 屏蔽所有的图片文件。
PS:使用通配符,一定要有结束符。不然可能导致正常的路径被屏蔽。
二、那些情况需要使用robots
1.统一路径
在我们的网站中,指向页面的路径一定是有且只有一个。一旦多途径指向一个页面,会导致百度不知道收录那个页面。所以我们只要屏蔽了一个,让百度收录我们想让收录的。
2.搜索路径
如果我们网站中有搜索框,那么我们就要把搜索结果页面给屏蔽掉。目的就是为了防止有人使用这个搜索框捣乱。
3.标签路径
如果我们网站有标签页面,这个标签页面就是中文的链接,中文链接百度不认识,所以要屏蔽。
4.js文件
对于js文件或者其他无意义的文件,我们都可以屏蔽掉。
注意事项:
1.基础语法中PS的点。
2.生效时间 robots是我们和搜索引擎之间的一个单方面的协议,不是我们今天写上,明天百度就会遵守。想让百度遵守是需要一个过程的,一般情况下是两个月。但是也不排除当天写,当天生效。所以在更改robots的时候,一定要小心小心再小心。一旦你的robots错了,对整个网站的影响是巨大的。
3.不要随便的屏蔽整站 一些新手在做网站的时候,没有规划,随搭随建,网站不能一下子做好,经常做个半截,所以很多新手就会将我们的网站全部屏蔽掉。如果你真的这么做了,那么我要恭喜你,蜘蛛可能在未来的两个月中不来访问你的网站。即便是你去请蜘蛛也不会来。所以这里给新手的建议就是一定要对网站规划好,一次性搭建完成。等待收录。
Tags: robots
相关文章
随机博文
如何通过IP来判断是不是百度蜘蛛?
站长该如何通过IP来判断此spider是不是来自百度搜索引擎的呢?可以通过DNS反查方式来解决这个问题。根据平台不同验...什么是沙盒效应?如何判断网站是否处于沙盒期?
什么是沙盒效应? 所谓的沙盒效应就是指搜索引擎对新网站进行短暂的观察期,经过一段时间的考验,期间网站会被...织梦网站robots文件应该禁止哪些(常见织梦网站robots文件写法)
网上robots的写法,说法一大堆,也不知谁对谁错,那么织梦robots文件具体应该禁止哪些文件呢?今天村仔SEO大概总结...【杭州上城区SEO】网站robots文件制作技巧方法
对于一个新的网站的时候,我们前期需要做好robot协议设定,因为这对于我们的新站是必不可少的,这样可以快速让我...如何提高百度权重(快速提高百度权重方法)
为什么要提高百度权重? 目前百度作为最大的中文搜索引擎,很多中文站点都需要搜索引擎检索和收录,每个站点都...核心关键词如何选择和定位(核心关键词选取的原则)
说到核心关键词的选择和定位可能很多SEOer都会有一定见解,那么核心关键词如何选择和定位?今天聊聊小编的方法吧...H标签的常见用法有哪些?怎么使用?
H标签的常见用法有哪些?H标签怎么使用?H标签的优化方法?可能很多人会有这些疑虑。在本文中村仔SEO将把H标签在...一个入行十年的SEOer的35个SEO经验
当我第一次开始搜索引擎优化就好像是在昨天,但实际上我已经做了整整十年。十年是一个相当长的时期,即使世事...
文章评论
- 全部评论(0)
