江畔旧时月[硕士论文] 垂直搜索引擎的设计与实现
西北工业大学硕士学位论文第三章Ｗｅｂ搜集器
第三章Ｗｅｂ搜集器
Ｗｅｂ搜集器的功能是在互联网中漫游、发现和搜集信息。它常常是一个计算
机程序（也称为ｓｐｉｄｅｒ，ｃｒａｗｌｅｒ和ｒｏｂｏｔ等），日夜不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息，同时因为互联网上信息更新很快，所以还要定期访问已经搜集过的旧信息，以避免死链接和无效链接．
本文设计的Ｗｅｂ搜集器能够根据某一类信息需求，从互联网上的各个信息阿
站（主要是独立制作发布信息的网站），收集围绕着某个（或某类）主题的相关信息资料。
３．１Ｗｅｂ搜集器算法
Ｗｅｂ搜集器算法包括四个重要的队列：ｕｒｌ＿ｑｕｅｕｅ包括网络蜘蛛（Ｃｒａｗｌｅｒ）访
问过的与主题无关的ＵＲＬ；相应的Ｔｏｐｉｃ＿ｕｒｌｑｕｅｕｅ包含网络蜘蛛搜集到的与主题相关的ＵＲＬ，这些ＵＲＬ对应的页面需要扩展；一旦一个网页被访问过，该网页与它对应的ＵＲＬ一同存储在ｃｒａｗｌｅｄ＿ｐａｇｅｓ中；Ｌｉｎｋｓ包含着ＵＲＬ对（ｕＩ，Ｕ２），Ｕ。是父网页的ＵＲＬ，ｕ２是子网页的ＵＲＬ。其中ｕｒｌ＿ｑｕｅｕｅ和Ｔｏｐｉｃ＿ｕｒｌ＿ｑｕｅｕｅ队列中的ＵＲＬ的权值的捧序通过函数ｒｅｏｒｄｅｒ＿ｑｕｅｕｅ０来实现。其算法如下：
输入：ｓｔａｒｔｉｎｇ＿ｕｒｌ（种子ＵＲＬ）
执行过程：
