1、如果我们从搜索引擎蜘蛛的角度去看待一个网站，在抓取，索引和排名时会遇到哪些问题呢？解决了这些问题的网站设计就是搜索引擎友好的。1. 搜素引擎蜘蛛能不能找到网页要让搜索引擎发现 网站首页，就必须要有外部链接连到首页，找到首页后 ，蜘蛛沿着内部链接找到更深的内容页，所以要求网站要有良好的结构，符合逻辑，并且所有页面可以通过可爬行的普通 html 链接达到。Javascript 链接，flash 中的链接等搜索引擎蜘蛛一般不能跟踪爬行，就会造成收录问题。网站所有页面离首页点击距离不能太远，最好是在四五次点击 之内。要被搜索引擎收录，页面需要有最基本的权重，良好的网站链接结构可以适当传递权重，使尽量多
2、的页面 达到收录门槛。2. 找到网页后能不能 抓取页面内容 被发现的 URl 必须 是可以被抓取的。数据库动态生成，带有过多参数的URl，sessionId 整个页面是 flash，框架结构，可疑的的转向，大量复制内容等都可能 使搜索引擎敬而远之。某些文件站长可能不希望被收录，除了不链接到这些 文件，更保险的方法是使用robots 文件或者 meta robots 标签禁止收录。3. 抓取页面后怎样提炼有用信息 关键词在页面重要位置的合理分布 ，重要标签的撰写，html 代码精简 ，起码的兼容性等，可以帮助搜索引擎理解页面内容，提取有用信息。只有搜索引擎能顺利找到所有页面，抓取这些 页面并提取其中真正有相关性的内容 ，网站才可以被视为是搜索引擎友好的 。本章内容由天空货源网（）从书上整理收集。
