您现在的位置是:首页 > SEO教学 > SEO教学
什么是Baiduspider?百度蜘蛛究竟是干什么的?
来源:村仔SEO博客 2020-07-07 人已围观
简介:什么是Baiduspider?Baiduspider是百度搜索引擎的一个自动程序,它的作用是访问互联网上的网页,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站上的网页。 为了达到对目标资
什么是Baiduspider?Baiduspider是百度搜索引擎的一个自动程序,它的作用是访问互联网上的网页,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站上的网页。
为了达到对目标资源较好的检索效果,Baiduspider需要对您的网站保持一定量的抓取。我们尽量不给网站带来不合理的负担,并会根据服务器承 受能力,网站质量,网站更新等综合因素来进行调整。如果您觉得baiduspider的访问行为有任何不合理的情况,您可以反馈至反馈中心。一般情况Baiduspider的正常抓取并不会造成您网站的带宽堵塞,造成此现象可能是由于有人冒充Baiduspider恶意抓取。如果您发现有名为Baiduspider的agent抓取并且造成带宽堵塞,请尽快和我们联系。您可以将信息反馈至反馈中心,如果能够提供您网站该时段的访问日志将更加有利于我们的分析。
Baiduspider的user-agent是什么?
百度各个产品使用不同的user-agent:
产品名称 对应user-agent 网页搜索 Baiduspider 无线搜索 Baiduspider 图片搜索 Baiduspider-image 视频搜索 Baiduspider-video 新闻搜索 Baiduspider-news 百度搜藏 Baiduspider-favo 百度联盟 Baiduspider-cpro 商务搜索 Baiduspider-ads
为什么Baiduspider不停的抓取我的网站?
对于您网站上新产生的或者持续更新的页面,Baiduspider会持续抓取。此外,您也可以检查网站访问日志中Baiduspider的访问是否正常,以防止有人恶意冒充Baiduspider来频繁抓取您的网站。 如果您发现Baiduspider非正常抓取您的网站,请通过反馈中心反馈给我们,并请尽量给出Baiduspider对贵站的访问日志,以便于我们跟踪处理。
Baiduspider的抓取如何判断是否冒充?
建议您使用DNS反查方式来确定抓取来源的ip是否属于百度,根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:
1、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.
host 119.63.195.254
254.195.63.119.in-addr.arpa domain name pointer
BaiduMobaider-119-63-195-254.crawl.baidu.jp.
2、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
3、在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip,来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
为什么我的网站已经加了robots.txt,还能在百度搜索出来?
因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
如果您的拒绝被收录需求非常急迫,也可以通过反馈中心反馈请求处理。
我希望我的网站内容被百度索引但不被保存快照,我该怎么做?
Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置,使百度显示只对该网页建索引,但并不在搜索结果中显示该网页的快照。和robots的更新一样,因为搜索引擎索引数据库的更新需要时间,所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照,但百度搜索引擎数据库中如果已经建立了网页索引信息,可能需要二至四周才会在线上生效。
Tags: 百度蜘蛛
相关文章
随机博文
如何提高百度权重(快速提高百度权重方法)
为什么要提高百度权重? 目前百度作为最大的中文搜索引擎,很多中文站点都需要搜索引擎检索和收录,每个站点都...核心关键词如何选择和定位(核心关键词选取的原则)
说到核心关键词的选择和定位可能很多SEOer都会有一定见解,那么核心关键词如何选择和定位?今天聊聊小编的方法吧...【杭州上城区SEO】网站robots文件制作技巧方法
对于一个新的网站的时候,我们前期需要做好robot协议设定,因为这对于我们的新站是必不可少的,这样可以快速让我...如何通过IP来判断是不是百度蜘蛛?
站长该如何通过IP来判断此spider是不是来自百度搜索引擎的呢?可以通过DNS反查方式来解决这个问题。根据平台不同验...什么是沙盒效应?如何判断网站是否处于沙盒期?
什么是沙盒效应? 所谓的沙盒效应就是指搜索引擎对新网站进行短暂的观察期,经过一段时间的考验,期间网站会被...织梦网站robots文件应该禁止哪些(常见织梦网站robots文件写法)
网上robots的写法,说法一大堆,也不知谁对谁错,那么织梦robots文件具体应该禁止哪些文件呢?今天村仔SEO大概总结...H标签的常见用法有哪些?怎么使用?
H标签的常见用法有哪些?H标签怎么使用?H标签的优化方法?可能很多人会有这些疑虑。在本文中村仔SEO将把H标签在...一个入行十年的SEOer的35个SEO经验
当我第一次开始搜索引擎优化就好像是在昨天,但实际上我已经做了整整十年。十年是一个相当长的时期,即使世事...
文章评论
- 全部评论(0)
