接下来才进入真正的索引与收录网页过程。从上面的介绍可以看出，FreshBot提交的url列表是相当庞大的，根据语言、网站位置等不同，对特定网站的索引工作将分配至不同的数据中心完成。整个索引过程，由于庞大的数据量，可能需要几周甚至更长时间才能完成。

正如上文所言，DeepBot会首先索引优先级较高的网站/网页，优先级越高，出现在Google索引数据库及至最终出现在Google搜索结果页面中的速度便越快。对新建网页而言，只要进入到这个阶段，即使整个索引过程没有完成，相应的网页便已具备出现在Google索引库中的可能，相信许多朋友在Google中使用“site:somedomain.com”搜索时常常看到标注为补充结果只显示网页url或只显示网页标题与url但没有描述的页面，此即是处于这一阶段网页的正常结果。当Google真正读取、分析、缓存了这个页面后，其便会从补充结果中逃出而显示正常的信息。——当然，前提是该网页具有足够的链接，特别是来自权威网站的链接，并且，索引库中没有与该网页内容相同或近似的记录(Duplicate Content过滤)。搜索引擎索引收录网页的效率，根据上面的介绍，可以看出，要想让您的网页尽可能快、尽可能多地被搜索引擎收录，至少应从如下几方面进行优化：

提高网站反相链接的数量与质量，源自权威网站的链接可以让您的网站/网页在第一时间内被搜索引擎“看到”。当然，这也是老生常谈了。从上面的介绍可以看出，要提高网页被搜索引擎收录的效率，首先要让搜索引擎找到您的网页，链接是搜索引擎找到网页的唯一途径——“唯一”一词存在些许争议，见下面的SiteMaps部分——从这个角度看，向搜索引擎提交网站之类的作法没有必要且没有意义，相对而言，要想让您的网站被收录，获得外部网站的链接才是根本，同时，高质量的链接也是让网页步出补充结果的关键因素。

网页设计要秉持“搜索引擎友好”的原则，从搜索引擎spider的视角设计与优化网页，确保网站的内部链接对搜索引擎“可见”，相对于获得外部网站链接的难度，合理规划的内部链接是提高搜索引擎索引与收录效率更经济、有效的途径——除非网站根本未被搜索引擎收录。

如果您的网站使用动态url，或者导航菜单使用JavaScript，那么，当在网页收录方面遇到障碍时，应首先从这里着手。搜索引擎包括Yahoo!、Live搜索及Ask均已提供支持。搜索引擎优化博客
版权声明：本文已经获得作者授权发布，转载请保留本版权信息，严禁一切非法复制。

FreshBot记录的信息包括网页的url、Time Stamp(网页创建或更新的时间戳)，以及网页的Head信息(注：这一点存在争议，也有不少人相信FreshBot不会去读取目标网页信息的，而是将这部分工作交由DeepBot完成。不过，笔者倾向于前一种说法，因为在FreshBot向DeepBot提交的url列表中，会将网站设置禁止索引、收录的页面排除在外，以提高效率，而网站进行此类设置时除使用robots.txt外还有相当部分是通过mata标签中的“noindex”实现的，不读取目标网页的head似乎是无法实现这一点的)，如果网页不可访问，比如说网络中断或服务器故障，FreshBot则会记下该url并择机重试，但在该url可访问之前，不会将其加入向DeepBot提交的url列表。

总的来说，FreshBot对服务器带宽、资源的占用还是比较小的。最后，FreshBot对记录信息按不同的优先级进行分类，向DeepBot提交，根据优先级不同，主要有以下几种：

A：新建网页；
B：旧网页/新的Time Stamp，即存在更新的网页；
C：使用301/302重定向的网页；
D：复杂的动态url，如使用多个参数的动态url，Google可能需要附加的工作才能正确分析其内容。——随着Google对动态网页支持能力的提高，这一分类可能已经取消；
E：其他类型的文件，如指向PDF、DOC文件的链接，对这些文件的索引，也可能需要附加的工作；
F：旧网页/旧的Time Stamp，即未更新的网页，注意，这里的时间戳不是以Google搜索结果中显示的日期为准，而是与Google索引数据库中的日期比对；
G：错误的url，即访问时返回404回应的页面；

优先级按由A至G的顺序排列，依次降低。需要强调的是，这里所言之优先级是相对的，比如说同样是新建网页，根据指向其的链接质量、数量的不同，优先级也有着很大的区别，具有源自相关的权威网站链接的网页具有较高的优先级。此外，这里所指的优先级仅针对同一网站内部的页面，事实上，不同网站也有有着不同的优先级，换言之，对权威网站中的网页而言，即使其最低优先级的404 url，也可能比许多其他网站优先级最高的新建网页更具优势

接下来才进入真正的索引与收录网页过程。从上面的介绍可以看出，FreshBot提交的url列表是相当庞大的，根据语言、网站位置等不同，对特定网站的索引工作将分配至不同的数据中心完成。整个索引过程，由于庞大的数据量，可能需要几周甚至更长时间才能完成。

正如上文所言，DeepBot会首先索引优先级较高的网站/网页，优先级越高，出现在Google索引数据库及至最终出现在Google搜索结果页面中的速度便越快。对新建网页而言，只要进入到这个阶段，即使整个索引过程没有完成，相应的网页便已具备出现在Google索引库中的可能，相信许多朋友在Google中使用“site:somedomain.com”搜索时常常看到标注为补充结果只显示网页url或只显示网页标题与url但没有描述的页面，此即是处于这一阶段网页的正常结果。当Google真正读取、分析、缓存了这个页面后，其便会从补充结果中逃出而显示正常的信息。——当然，前提是该网页具有足够的链接，特别是来自权威网站的链接，并且，索引库中没有与该网页内容相同或近似的记录(Duplicate Content过滤)。搜索引擎索引收录网页的效率，根据上面的介绍，可以看出，要想让您的网页尽可能快、尽可能多地被搜索引擎收录，至少应从如下几方面进行优化：

提高网站反相链接的数量与质量，源自权威网站的链接可以让您的网站/网页在第一时间内被搜索引擎“看到”。当然，这也是老生常谈了。从上面的介绍可以看出，要提高网页被搜索引擎收录的效率，首先要让搜索引擎找到您的网页，链接是搜索引擎找到网页的唯一途径——“唯一”一词存在些许争议，见下面的SiteMaps部分——从这个角度看，向搜索引擎提交网站之类的作法没有必要且没有意义，相对而言，要想让您的网站被收录，获得外部网站的链接才是根本，同时，高质量的链接也是让网页步出补充结果的关键因素。