网站有过被爬虫爬至崩溃的情况吗，别忧心，一个称作robots.txt的小型文件可助你为那些不知疲倦的机器人制定规则，既能保护服务器，又能保证重要内容可被搜索引擎搜寻到。
robots.txt 到底是什么
概括来讲，robots.txt 乃是一个放置于你网站根目录处的文本档案 ，它的关键意图并非在于隐匿网页 ，而是针对机器人向网站发出的请求数量予以限定 ，从而减轻服务器的负担 ，你能够将它视作是你网站大门口的指示标识 ，告知前来访问的爬虫哪些区域能够前往 ，哪些区域最好不要进入。
一般情况下，这个文件涵盖的方面里所蕴有的内容，着实应被看成是给予搜索爬虫的一类推荐，它针对网站爬取规则予以了明确的定义。要是爬虫在对网站展开访问之际，会率先去观察这个文件，瞧瞧其中有关怎样去爬取以及索引网站页面的相关说明。一旦不遵循的话，爬虫极有可能把你网站的资源给消耗殆尽。
若不存在robots.txt文件，或者文件之中不存在禁止用户代理活动的指令，那么搜索机器人便会持续对网站展开爬取，直到达到爬取预算或者其他限制才停止。这犹如没有路标的高速公路，所有车辆都有可能挤进来，最终致使拥堵乃至于瘫痪。
用robots.txt保护服务器资源
倘若你网站后台存在一个能够无限生成的日历脚本，当爬虫进行频繁访问之际，此脚本极有可能反复生成数量众多的毫无意义的页面，进而致使服务器负载急剧飙升。在此种情形下，你便能够在robots.txt文件里对该脚本的被爬行予以禁止，直接针对相关路径下达一个“禁止入内”的指令。
User-agent: [机器人名]
Disallow:/[文件或文件夹路径]/
Disallow: /[文件或文件夹路径]/
Disallow:/[文件或文件夹路径]/
Sitemap: [网站地图网址]
与之相类似，你能够运用它去屏蔽那些不期望被搜索引擎录入的页面，这里面或许包含管理面板，或许包含重复内容，或许包含尚在开发进程中的页面，并且或许包含带有查询参数的页面，诸如类似过滤器的页面，诸如类似内部搜索结果的页面。将它们屏蔽掉能够使得爬虫把精力聚焦于抓取你真正关键重要的内容。
User-agent: *
Allow: /
# Sitemaps
Sitemap: https://www.example.com/sitemap.xml
正确编写robots.txt指令
拥有带最新指令的模板，它可帮你，创建格式正确的robots.txt文件，还要指定所需机器人，限制对相关文件的访问。比如一个基本示例，它准许所有范围内的网络爬虫，访问所有范畴中的网站。
User-agent: *
Disallow: /
这儿存有一个用例，该用例显示出了一系列指示，这一系列指示允许对整个网站进行爬取行为，并且还能够对特定的子目录采取屏蔽手段。比如说，你能够让所有爬虫访问全站，然而却单独禁止它们去抓取你的“/private”或者“/temp”文件夹，十分灵活。
如何找到并检查robots.txt
进行文本文件查找之际，需在某个对应的网站之上开展，这时，可运用几种别的办法，最为简单直接的一种如下：在你要核查的网站域名之后径直添加上“/robots.txt”。举个例子，倘若该网站域名呈现为“https：//www.example.com”这般的状况，那么你将会在浏览器的地址栏处键入“https：//www.example.com/robots.txt”。
还有一种识别robots.txt文件存在的办法是运用网站审计工具，比如Screaming Frog SEO Spider。这个工具会对你的网站进行检查，还会给你提供关于有没有robots.txt文件以及该文件阻挡哪些页面的相关信息。在拿到报告之后，要去检查被屏蔽的页面，判断一下是不是应该被屏蔽，还是访问被错误阻挡了。
robots.txt与其他控制方法的区别
尽管robots.txt文件、meta tag以及X-Robots-Tag在针对搜索引擎蜘蛛机器人进行指导的方面具备相通的功能，可是它们在应用范畴以及控制界限当中存在着差异。robots.txt负责管控整个爬虫的访问权限，告知其“可不可以前来”；而meta tag以及X-Robots-Tag却是负责管控具体某一个页面“能不能被收录以及展示”。
网站内容隐藏时，仅靠robots.txt文件或许不够。要注意，运用“Disallow”指令，不能确保某网页不被抓取，不存在使其被排除在搜索结果中的情况。为何？因若有其他网站链接你那个页面，搜索引擎仍可能经此链接发现并抓取它，只是不抓取页面里的图片等其他资源罢了。
结合网站地图优化爬取
虽然，robots.txt文件主要是来负责网站扫描的把控管理，但是，网站地图能够帮助搜索引擎去理解内容的架构构成以及层级框架。通过在robots.txt文件中加入网站地图链接的做法，你为搜索引擎爬虫提供了方便定位以及分析网站地图的途径，从而实现更高效能的爬取与索引运作。
搜索机器人要更高效运用爬取预算，得把它引导到网站最重要内容处，还要阻止对无益信息的访问。但要注意，要是网站页面数量超了分配的爬取预算，就有页面可能没被抓取，不能被索引。所以，用好robots.txt和网站地图的组合拳很关键。
终于再问大伙一个事儿：平常你会去主动瞧瞧以及精细化自己站点的robots.txt文档吗？又或者你于工作里碰到过因robots.txt设定不妥致使的收录方面的问题？欢迎于评论区去分享你的经历，点个赞使得更多朋友瞧见这篇文章，一块儿交流怎样更优地管理网站！
还没有评论，来说两句吧...