论文摘要：动静可收缩布隆过滤器在搜集爬虫中的运用

跟着互联网络消息的飞快延长，探求引擎因其不妨高效、精确地获得包括用户所需消息的网页变成了互联网络的进口点。搜集爬虫动作探求引擎的要害构成局部，被安排用来抓取网页消息。而搜集爬虫URL判重的展现情景，感化着搜集爬虫的总体本能。正文对搜集爬虫中的URL判重本领举行了接洽，提出了一种新式布隆过滤器用来URL判重。正文领会了各别的URL判重本领，并对URL判重举行数学建立模型，得出论断是在大数据会合确定分子联系。由于布隆过滤器首先的安排手段即是用来处置确定分子联系，以是正文采用布隆过滤器来实行URL判重。深刻接洽暂时已有的几种要害布隆过滤器变型的基础道理，并领会它们的优缺陷以及URL判重的需要。从而提出一个框架构造，不妨扩充现有的计数型布隆过滤器使其扶助动静汇合，然而这种扩充是以丧失空间为价格的。为了贬低因框架而减少的空间，正文接下来计划怎样收缩计数型布隆过滤器，结果，将收缩后的计数型布隆过滤器运用到框架内产生正文提出的动静可收缩布隆过滤器。尔后，安排实行搜集爬虫体例动静可收缩布隆过滤器运用个中的URL判重功效，经过安排试验尝试本领，赢得试验截止并举行领会。正文经过安排试验，在如实的搜集中尝试运用鉴于动静可收缩布隆过滤器举行判重的搜集爬虫。经过尝试截止中的两个要害本能目标举行领会，截止表白：正文提出的动静可收缩布隆过滤器不妨以更高效的空间运用率和更低的误报率来扶助搜集爬虫的URL判重局部。