江畔旧时月[硕士论文] 垂直搜索引擎的设计与实现
西北工业大学硕士学位论文第二章垂直搜索引擎的结构ｄｏｃＩＤ。
建立索引的任务则交给索引器和排序器来完成。Ｉｎｄｅｘｅｒ依次从Ｒｅｐｏｓｉｔｏｒｙ
中取出文档，对文档解压缩，然后对文档进行解析。随后文档被解析为一组命中。
在Ｇｏｏｇｌｅ中，命中是一种数据结构，用来记录单词在文档中每一次出现的信息。
在命中结构中，记录了每个词、词在页面中的位置、大小写、字体相对大小写等
信息。这样，每个词都有很多不同的命中，这些命中的组合又称为该词的命中列
表。索引器把这些命中再写入一组桶中，并建立一个部分排序的前序索引。索引
器还同时把网页中所有的链接的重要信息解析出来，并记录到一个叫做Ａｎｃｈｏｒｓ的文件中。该文件包含了足够多的信息，从中可以查询出每一个链接的来源、指
向以及该链接的文本。
ＵＲＬＳｅｒｖｅｒ卜———叫Ｃｒａｗｌｅｒ卜———叫ＳｔｏｒｅＳｅｒｖｅ
ＲＬＲｅｓｏｌｖｅＡｎｃｈｏｒｓＲｅｐｏｓｉｔ
Ｌｉｎｋｓ
ＤｏｃＩｎｄｅｘｌｌＳｏｒｔｅｒ
图２—３Ｇｏｏｇｌｅ结构
ＵＲＬＲｅｓｏｌｖｅｒ服务器负责从Ａｎｃｈｏｒｓ文件中读取出这些链接，把相对路径
转换为绝对路径，再转换为相应的ｄｏｃＩＤ。通过ｄｏｃＩＤ的关联，锚文件的信息也
被加入到前序索引的ａｎｃｈｏｒｈｉｔ结构中。ＵＲＬＲｅｓｏｌｖｅｒ同时创建了一个Ｌｉｎｋｓ数据库，用来存放两两相互对应的ｄｏｃＩＤ。Ｌｉｎｋｓ数据库被用来计算所有文档的
