数据挖掘

ubuntu

crawler:挖掘器（爬虫），从队列中提取url，抓取并描述页面，提取页面的URL，将URL加入队列。
indexer:索引器，把文档分成一个个关键词（hits）索引，分成一个个的barrel存入anchors file.
URLresolver:URL解析器，读取anchors file并设置docID，建立docID的数据库，这个库是用来计算PR的。
sorter:分类器，读取按照docID分类的barrel，再次按照inverted index（word到doc的对应）的wordID分类，然后返回inverted index和ＰＲ。

ubuntu

classification has a label, but clustering just divides the similar doc together.
quality ranking 对不同的网页评级，对于keyword重复的垃圾页面进行降级。

ubuntu

lecture1

ubuntu

boolean IR
向doc查询keyword，能找到的为true，也就是只有相关和不相关两种结果。
anchor text
目标链接的相关描述及上下文信息。