一个月辛辛苦苦地去优化网站，结果却发现搜索引擎连一条都没有收录，相信不少SEO人都体会过这种绝望感。别急着去怀疑内容质量，很多时候问题出在你根本就想不到的地方，比如说一个错误的代码使得搜索引擎吃了“闭门羹”。
先检查网站是否对搜索引擎关上了门
某位同行友人，于昨日火急火燎地前来找我，表明其客户网站已上线达一月之久，然而却一条收录都未有，优化工作全然付诸东流。我遂帮其进行远程查看，结果发现罪魁祸首竟然是根目录下的robots.txt文件，被人写成了“Disallow: /”。但凡懂行之人一看便知，这行代码所表达的意思乃是禁止所有搜索引擎抓取全站的任何页面。
不少网站在搭建之际所采用的模板会自行带有默认的robots.txt文件，或者技术人员于上线之前鉴于测试环境而增添了屏蔽规则，然而上线之后却忘掉予以删除。这属于最为常见同时也是最为致命的低级失误，等同于你开设了一家店铺却每日都将它锁闭着，致使顾客想要进入都没法达成。
正确配置让蜘蛛高效工作
每个网站都得依据自身结构去定制robots.txt规则，合理的规则能够告知搜索引擎哪些页面路径欢迎被抓取，哪些需要予以屏蔽，像网站后台登录页面、用户个人中心、购物车页面这些涉及隐私与安全的，就应当主动进行屏蔽，防止被蜘蛛爬取而致使信息泄露。
针对内容型网站而言，恰当的举措是仅屏蔽那些毫无价值的页面，诸如重复的标签页，搜索结果页，404错误页面等等。然而文章详情页，分类页这类核心内容，务必保证在准予抓取的范畴之内。众多新手站长，要么压根没有robots.txt，要么规则制定得过于宽松或者过于严格，均对收录不利。
生成站点地图提交给搜索引擎
在将robots.txt问题予以解决之后，接下来要做的便是针对网站去打造一张毫无缺失的“地图”。当下占据主流地位的CMS系统当中，均存在能够自动生成sitemap.xml文件的插件，像WordPress的Yoast SEO插件，亦或是专门用于生成sitemap的工具。而这张“地图”里涵盖了网站所有期望被收录的页面的地址。
上传生成的sitemap.xml文件至网站根目录，接着于robots.txt里增添一行“Sitemap: 你的域名/sitemap.xml”。如此一来，当搜索引擎前来访问之际，第一眼便能瞧见到这张地图，知悉你的网站存有多少页面，哪些属于最为重要的，进而抓取起来效率会显著提升不少。
在站长平台主动提交数据
当完成上面所讲的两步之后，还得要记住去往百度站长平台进行一下手动提交。先登录百度搜索资源平台，接着在“普通收录”功能当中找到“提交sitemap”的选项，随后把你在刚才上传的sitemap.xml地址填写进去。如此一来百度便会依据你所提交的地图去执行抓取以及解析页面的操作。
在提交sitemap之外，另一种方式能够提速 spiders 的探测速率，也就是手动递呈当日所布有关数处关键页面。据统计，经主动递呈的页面，相较于被动承受抓取的页面，其被收录的用时平均将缩减了3至7日。尤其针对全新网站而言，此步骤能够助力你迅速搭建与搜索引擎间的信任关联关系。
排查其他可能的收录障碍
要是上述这些操作全部都完成了，过去了一两周的时间依旧没有被收录，那么就必须得去考虑别的因素了。服务器的稳定性属于常见的问题，要是网站常常无法打开或者打开的速度超过了5秒，蜘蛛就会判定这个网站的质量欠佳从而放弃进行抓取。能够使用站长工具去查询一下服务器的响应时间，正常的情况应该是在200毫秒以内。
关键同样在于内容质量，倘若你的文章属于东拼西凑而成的伪原创，又或者全篇都是采集所得，即便搜索引擎进行了抓取，也不会予以收录。另外，要核查网站有没有添加nofollow标签，或者meta标签里有没有noindex指令，这些情形都会致使页面明明是存在的，却不被收录。
保持耐心持续提交新内容
搜索引擎进行收录存在着一个过程，尤其是针对新域名而言，其需要花费时间去积累信任度。按照我的经验来讲，需保持每周更新3至5篇具备较高质量的原创内容，与此同时在站长平台持续不断地提交sitemap，通常情况下2到4周便能够看到相应效果。千万不要出现三天打鱼两天晒网的情况，稳定不变的更新频率相较于偶尔的爆发而言更为重要。
也得记着为网站搞好内链构建，刚发布的页面需借由内链从权重高的老页面引导过去，如此蜘蛛顺着链接便能爬到你新的内容。外链同样能加速收录进程，但要留意质量，垃圾外链反倒会拖累网站。
那个网站你所碰到过的最为奇特离谱的不被收录的缘由究竟是什么呢，欢迎于评论区域分享你所遭遇的那些遭遇阻碍的经历，去点赞并收藏这篇文章，紧接着下次一旦碰到收录方面的问题便能够知晓从何处着手展开排查了。
还没有评论，来说两句吧...