你浏览的网站每日遭受到爬虫的访问，然而你有着极大的可能性并不清楚，要是核心那部分页面没有被收纳进索引中，那就等同于在搜索引擎里面根本不存在这款工具。谷歌搜索引擎每一天抓取几十亿次网页页面，可是唯有被收录进入索引的那些页面才具备参与排名的资格。
抓取和索引到底是什么
搜索引擎派遣爬虫程序，沿着链接从一个页面前往另一个页面，搜集沿途所见到的全部内容。此过程恰似蜘蛛于互联网这张大网之上爬行，将碰到的文字、图片、链接皆记录下来。
为搜索引擎的数据中心带回收集到的信息的爬虫进程展开工作之后，系统会针对这些内容的质量、相关性与uniqueness予以剖析鉴识评估审查判断，随后将其写入一个规模非常庞大的拥有可搜索功能的数据库之中。这个被写入数据库的行径过程也就是索引步骤环节内容事项情节，这就好比是给网页制作打造构建创建设立了一张能够证明其身份的证件凭证。
为什么你的页面没被索引
常见原因之中，重复内容是最为常见的那一种。举例来说，存在这样一种情况，即一篇文章能够借助三个不一样的URL来进行访问，当爬虫碰到这三份内容一模一样的文章之时，就会产生困惑，处于一种迷茫的状态，完全不清楚应该将哪一个放入索引当中。最终所导致的结果便是，有可能这三个全都不会被收录，又或者是随机挑选其中之一。
导致索引失败的原因之一是网站结构混乱，要是页面处于五层目录之下，倘若没有别的页面链接指向该页面，那么爬虫根本就找寻不到这个页面，依据Ahrefs的数据，平均而言，31%的页面因孤立无援故而从未被索引。
优化网站架构让爬虫畅通无阻
最受搜索引擎欢迎的是扁平化的网站结构，主页链接至栏目页，栏目页直接链接到具体文章，所有页面距离主页的点击次数不超过三次，谷歌官方研究显示，符合这种架构的网站，其核心页面抓取率能高出42%。
对于内部链接而言，需突出重点，要将重要页面摆在导航栏处，于文章正文当中适度链接至相关旧文，如此这般，爬虫便能顺着这些路径，优先去访问你期望被收录的核心内容，而非把时间耗费在无关页面之上。
提升抓取效率用好预算资源
在每个网站当中，都存在着抓取预算这种情况，而所谓的抓取预算，实际上指的便是搜索引擎在每一天愿意花费多长的时间去爬取你的网站。由于预算是限制的，所以必须进行切实的保障，要让爬虫把时间运用在关键之处。对于网站而言，其加载速度会直接对这个预算产生影响，要是服务器响应的速度较为缓慢，那么爬虫就会过早地离去。
需注意，核心网页指标里的LCP规定页面主要内容得在2.5秒内完成加载，倘若超出此时间，不但用户会流失，而且爬虫抓取页面数量也会减少。能够借助PageSpeed Insights检测速度，进而针对性地对图片以及代码予以优化。
注意JavaScript渲染的坑
当下，诸多网站借助JavaScript来呈现内容，然而，在早期的时候，爬虫解析JS的能力是有限的，如此一来，便会出现一种状况，即用户能够看到内容，可是爬虫看到的却是空白页，依据SearchMetrics的统计表明，在那些使用JS进行渲染的网站当中，有38%的网站存在着由于渲染失败从而致使内容未被索引的问题。
处理方式为运用服务端渲染或者静态生成，以此保证爬虫能够直接获取到HTML内容。要是非得采用客户端渲染，那就得查看谷歌抓取工具所看到的页面是不是完整的。关键内容别隐匿在非得点击或者登录方可看到的位置，因为爬虫不会帮你去点击按钮。
处理重复页面和结构化数据
采用规范链接去处理重复内容问题。于HTML头部添加上canonical标签，告知搜索引擎哪一个才是主版本。与此同时对重复的URL进行301重定向，使它们指向仅有的标准链接。如此这般能够防止预算出现浪费，提升索引率。
好比是给网页粘贴标签，借此告诉搜索引擎，这究竟是文章、产品亦或是活动那般的结构化数据。运用Schema.org的标记标准，去标注诸如标题、发布时间、作者等之类信息。写完之后，务必要采用谷歌的富媒体搜索结果测试工具来进行检查，以此确保代码不存在错误。
移动端优先已成标配
自2021年起，谷歌全面采用移动优先索引，借助手机版页面判定网站质量，这表明移动端体验对排名有着直接影响，而Responsive设计是确保手机与电脑使用同一套代码的最佳选择。
对移动端进行检查之际要留意三点，其一，字体大小究竟是不是适宜用于阅读，其二，按钮之间的间距到底是不是便利进行点击，其三，页面于手机之上能够得到加载所需时候是不是足够快速。那在谷歌搜索控制台的移动端可用性测试当中，是能够看到具体的问题清单的，按照提示去修复就可以了。
若网站规模超出一万页面该如何处理呢？剖析服务器日志能够明晰爬虫的访问记录，借助Screaming Frog这类工具寻觅孤立页面以及无效抓取。在进行针对性修复之后，抓取效率一般能够提高三成以上。为新页面增添源自首页或者栏目页的高质量内部链接，同样能够加快索引。
现今即刻去核查一番你自身的网站，瞧瞧究竟有多少页面切实被谷歌索引了，对不对？欢迎于评论区去分享你的所发现的情况，点个赞以便让更多站长能够看到这些颇具实用性的技巧，是不是？
还没有评论，来说两句吧...