[发明专利]一种基于搜索引擎的人物检索系统及方法

摘要

本发明涉及一种基于搜索引擎的人物检索系统及方法，包括依次连接的数据采集模块、数据预处理模块、特征抽取模块、聚类模块；数据采集模块爬取搜索引擎检索人名返回的网页信息；数据预处理模块过滤与人名无关的网页，进行分块处理，过滤网页中与检索人名无关的视觉块；特征抽取模块抽取与检索人物相关的属性和实体，统计视觉块中词频，构造每个网页的向量表示形式，适当增加抽取的特征词在向量空间中对应维数的值，聚类模块将每个网页的向量表示形式作为输入，进行网页文本的聚类，输出网页类别标签组成的列表。本发明有效解决检索人物时返回网页中的人名歧义和信息杂乱的问题，通过抽取人物属性和人物关系构造人物摘要，为用户检索人名提供便利。

主权项

一种基于搜索引擎的人物检索系统，其特征在于，包括依次连接的数据采集模块、数据预处理模块、特征抽取模块、聚类模块；输入检索的人名，所述数据采集模块利用爬虫系统爬取多个搜索引擎检索人名返回的网页信息，构成网页集；所述网页信息是指：搜索引擎检索人名返回的若干网页，每个网页包括标题、url、摘要、完整网页；所述数据预处理模块过滤网页集中与人名无关的网页，对过滤后网页集中的网页进行分块处理，得到每个网页的多个视觉块，并通过有监督的分类算法，过滤掉视觉块中与人名无关的视觉块信息；所述特征抽取模块从视觉块中抽取与检索人物相关的属性和实体，实体是指网页中出现的人名；统计网页中与人名相关视觉块的词频，构造每个网页的向量表示形式，所述向量表示形式为：(x，y)，x是指过滤掉人名无关视觉块后，网页文本中的词，y是指词在网页中的出现的次数；根据抽取的人物属性值和人名实体，适当增加抽取的特征词在向量空间中对应维数的值；所述聚类模块将每个网页的向量表示形式作为输入，使用狄利克雷过程混合模型进行网页文本的聚类，输出网页类别标签组成的列表。