1、 SEO 诊断案例二：网站收录和快照不及时 对于 SEO 诊断一直是我坚持的一项工作，前面跟大家谈到很多关于 SEO 诊断的想法，很多都来自于一些朋友的提问咨询，以及自己网站问题的发现和研究。今天我再给大家带来一个诊断案例，主要问题式针对网站收录和快照不及时的问题。昨天一个朋友找到我，让我帮他诊断下网站的症状，先和他交流了下，了解了一些他网站的情况：他的网站每天都有更新，但是百度第二天都没有收录放出，只是在每次周更新或者月更新的时候会放出之前的许多页面，快照也更新很慢，但是也会随着收录放出慢慢跟上，情况持续已经一个多月。下面是我的一个思路，希望对大家有一定的帮助。首先我建议这位朋友查看网站的
2、LOG 日志，因为 LOG 日志能够反映百度蜘蛛在网站内部的抓取情况。据我了解，目前很多朋友是没有查看 LOG 日志的习惯的，或者说多查看 LOG 日志有心无力，这位朋友就是，他说他有查看 LOG 日志，但是却不懂得怎么去分析。下面简单的介绍下我的分析思路。1、查看搜索引擎蜘蛛的抓取概要分析，了解各个搜索引擎蜘蛛的访问次数，总停留时间，总抓取量和所占比例，下面是朋友网站的概要分析（利用光年日志分析工具查看结果），其中可以很清楚的看出，百度蜘蛛对于网站的抓取量还是不错的，有 292 词，访问次数有 126 次，总停留时间 8.873 小时，所占所有蜘蛛比例的 41.011%。（http:/ LO
3、G 日志概要分析有的朋友可能会产生疑惑，既然百度蜘蛛总停留时间这么长，单次停留时间也不低（PS：蜘蛛单次停留时间=总停留时间/访问次数=0.0704 小时/ 次=4.225 分钟），那么为什么网站的收录却跟不上呢？带着这样的疑问，下面再分析下百度蜘蛛对于其他页面的抓取。2、查看百度蜘蛛对于网站目录抓取的情况，从下面的抓取图中可以很清楚的看出百度蜘蛛对于home，product 目录的抓取还是比较多的，对于网站内部另外一个重要的目录 news 抓取却不多，而这个目录就是网站每日更新做的比较多的工作目录。蜘蛛还抓取了一些后台文件目录如 upload，files，img 等。网站目录抓取情况从上面的
4、分析可以看出百度蜘蛛对于网页内部的抓取是不合理的，问题主要是：1、网站内部结构对于news 栏目抓取力度不足； 2、home 目录作为社区，product 目录作为产品中心，分散了网站蜘蛛抓取的资源；3、网站对于一些不必要抓取的目录没有很好地限制。解决问题就需要从这三个方面入手。1、引导蜘蛛更多的抓取 news 目录下面的网页，如针对更新的页面创造更多的链接入口，其中包括站内的互相链接导入，站外的外链发布等。2、查看网站的社区基本上已经没有更新，可以考虑先将 home 目录屏蔽掉，让权重和蜘蛛更多的导入进news 栏目。product 目录是一个比较重要的目录，但是更多的应该引导其抓取没有收录
5、的或者新的产品。查看网站产品页面，发现对于相关产品推荐力度不够，可以在这一块进行改进。3、运用 robots 文件或者 nofollow 标签，对于网站不重要的目录或者页面，以及后台的一些文件进行限制。另外，还有一点思考，百度蜘蛛停留时间比较多，但是抓取量不算特别多，还需要查看百度蜘蛛抓取页面返回的状态码 200，304 和 404 所占比例。如果 304 比较多，那么是否考虑将这些蜘蛛资源进行合理的分配到未抓取的页面。如果 404 页面比较多，那就要考虑蜘蛛是不是被带进一些陷阱里面，检查网站内部造成 404 状态码的页面，并加以改正。前面谈到的多是站内的蜘蛛抓取分配，但是如果站外的蜘蛛引导不够给力，那么依然不能够做好网站的收录和权重提升（PS：网站快照是网站权重的一个体现）。可以操作的方法如下：1、重新建立网站地图，其中包括 html 和 xml 两种格式地图，在 robots 文件中书写抓取规则，引导蜘蛛抓取网站 sitemap 地图。写法如下：Sitemap:http:/ LOG 日志分析的一点小思路，希望对大家有一定的帮助。文章地址：http:/
