robots

  • 时间:
  • 浏览:30次
  • 来源:网站服务商官网 网址:https://www.wzfws.com

robots.txt文件是一个文本文件,是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。


当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。



【原则】

Robots协议是国际互联网界通行的道德规范,基于以下原则建立:

1、搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;

2、网站有义务保护其使用者的个人信息和隐私不被侵犯

[注意]robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。



Robots协议的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),它的功能是通过Robots文件告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,抓取的标准等。它以一个文本文件的形式放在网站的根目录中,用任何一个常见的文本编辑器都可以对其进行修改和编辑。对于站长来说,合理的书写robots.txt文件可以更合理的利用搜索引擎,屏蔽掉一些低质量的页面,提高网站质量和对搜索引擎的友好度。



具体写法如下:(*为通配符)

User-agent: * 代表的所有的搜索引擎种类,

Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录

Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录

Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的url(包含子目录)。

Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片

Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。

Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录

Allow: /tmp 这里定义是允许爬寻tmp的整个目录

Allow: .htm$ 仅允许访问以”.htm”为后缀的URL。

Allow: .gif$ 允许抓取网页和gif格式图片

Sitemap: 网站地图 告诉爬虫这个页面是网站地图


使用误区:

误区一:我的网站上的所有文件都需要蜘蛛抓取,那我就没必要在添加robots.txt文件了。反正如果该文件不存在,所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。

每当用户试图访问某个不存在的URL时,服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该做网站中添加一个robots.txt。


误区二:在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取,这样可以增加网站的收录率。

网站中的程序脚本、样式表等文件即使被蜘蛛收录,也不会增加网站的收录率,还只会浪费服务器资源。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引这些文件。

具体哪些文件需要排除, 在robots.txt使用技巧一文中有详细介绍。


误区三:搜索蜘蛛抓取网页太浪费服务器资源,在robots.txt文件设置所有的搜索蜘蛛都不能抓取全部的网页。

如果这样的话,会导致整个网站不能被搜索引擎收录。                                                    


robots.txt参考:

网站服务商官方robots.txt:https://www.wzfws.com/robots.txt

User-agent: *

Disallow:

Sitemap: https://www.wzfws.com/sitemap.xml

欢迎关注我的微信和微信公众号


网站服务商经典语录

猜你喜欢

给你的网站添加百度商桥的在线沟通的功能

今天我访问我的一个买了我的mip网站模板的客户的网站,发现了他的网站添加了百度商桥的在线沟通的功能。我认为添加了商桥的代码,肯定就不能通过百度mip的验证了。但是,我错了。我经

2019-06-21  分类:基础知识  浏览:18次


景安虚拟主机免费一键开启https安全访问的方法

今天在杨泽业网站建设交流群(群号:187388018)群友普密斯精密仪器问我:“群主,你网站上有把mipcms加上https的教程吗?”我回答说:“没有,你遇到什么问题了,直接

2019-06-20  分类:基础知识  浏览:13次


网站服务商diy模板618更新:全站删除文章缩略图,让网站访问更加快速

网站服务商讯:网站服务商站长杨泽业基于mipjz官方模版制作的diy模板,在2019年6月18日进行更新:全站删除文章缩略图,让网站访问更加快速。本次删除的缩略图的地方有首页列

2019-06-17  分类:本站公告  浏览:25次


给网站添加网站地图

网站地图,又称站点地图,它就是一个引导页面,让用户或者搜索引擎更加方便的找到自己需要的内容,搜索引擎蜘蛛非常喜欢网站地图。网站地图分为html地图和xml地图。html地图给用

2019-06-10  分类:基础知识  浏览:53次


网站地图

网站地图,又称站点地图,它就是一个引导页面,让用户或者搜索引擎更加方便的找到自己需要的内容,搜索引擎蜘蛛非常喜欢网站地图。网站地图分为html地图和xml地图。html地图给用

2019-06-10  分类:建站百科  浏览:38次


工业和信息化部向中国电信,中国移动,中国联通,中国广电颁发5G牌照

网站服务商讯:中国的5g牌照终于在2019年的6月6日发放了,中国正式进入了5G时代。工业和信息化部向中国电信、中国移动、中国联通、中国广电颁发5G牌照。以下是来自于工信部的官

2019-06-06  分类:行业资讯  浏览:42次


虚拟主机绑定二级目录的解决方法(如thinkphp框架里面的public目录)

我们在搭建部分thinkphp框架的网站的时候,要求绑定的网站的目录是/public/目录,而不是根目录。如果是宝塔服务器里面还好,可以直接设置网站运行目录,或者把域名绑定到二

2019-06-03  分类:基础知识  浏览:35次


mipjz模版今日小幅更新:详情页末尾的文章来源调用网站名称和当前栏目

今天是2019年的六一儿童节,今天本站更新了文章末尾的文章来源的调用方式,文章来源由原来的网站名称改成网站名称+当前栏目名称,来源地址就往下一行显示。原来是:文章来源:网站服务

2019-06-01  分类:本站公告  浏览:46次


2019年6月全力做好改字成金网站

明天就是2019年6月1日了,我要全力以赴做好改字成金网站,目前改字成金网站有两个网站程序,一个是主站www.gaizichengjin.com使用mip建站程序mipjz搭建

2019-06-01  分类:本站公告  浏览:45次


robots

robots.txt文件是一个文本文件,是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。当一个搜索蜘蛛访问一

2019-05-28  分类:建站百科  浏览:31次