[发明专利]一种基于循环卷积网络的观点检索系统及其观点检索方法

说明书

本发明涉及一种基于循环卷积网络的观点检索系统及其观点检索方法，数据预处理模块对文本数据进行预处理；查询语句与文档相关性得分计算模块将查询‑文档分别映射到低维的语义空间中获取词向量表示，输入循环神经网络学习文本上下文语义信息，计算出相关性得分；待查询文档的观点得分计算模块计算文档的观点得分；统一相关检索模块根据相关性得分以及文档观点得分进行计算，由高到低排序得到查询的观点检索结果；排序学习检索模块将相关性得分作为新的特征加入到常用的特征、文本概念化特征、网络表示特征和观点得分特征中，将这些特征融入到排序学习框架中进行分类，按照顺序输出文档。本发明能够更好的提高语义泛化程度观点检索模型的准确性。

技术领域

本发明涉及观点检索领域，特别是一种基于循环卷积网络的观点检索系统及其观点检索方法。

背景技术

观点检索旨在从社交媒体等文档集中找出带有观点的相关文档。随着Web2.0的蓬勃发展，观点检索作为自然语言处理和文本挖掘领域的前沿研究课题，在学术界和工业界得到了广泛的关注，观点检索模型的研究经历了早期的二阶段检索模型，到统一相关模型，再到基于排序学习的检索模型这三个阶段。下面将对这三个阶段作简要介绍。

二阶段检索模型首先通过检索出与给定查询语句相关的文档，接着识别出这些与给定查询语句相关文档的倾向性，最后综合相关性和倾向性对文档进行排序。该模型结构简单，容易理解，但是缺乏理论解释。该方法第一阶段通常采用语言模型、BM25等经典检索模型，而第二阶段，即文档的观点挖掘，为该方法的研究重点。

统一检索模型则借助当前信息检索和文本挖掘领域的最新模型，直接挖掘查询语句的倾向性，对文档进行排序。该方法相对于二阶段检索模型，更加容易理解、并且对于信息需求表达的更为明确。

排序学习模型(Learning to Rank,L2R)，是利用特征提取和机器学习对推文进行倾向性检索。该方法的研究目前处于起步阶段，相比以上两个模型，往往能获得更好的检索效果，但需要进行大量的人工标注，因此这一方法的应用场景相对于前两种方法而言较为有限。

现有的工作大多数根据相关性建模，通常采用词语匹配的方式，然而查询语句与文档之间，仅共享少数的词语，所以相关性得分低。

发明内容

有鉴于此，本发明的目的是提供一种基于循环卷积网络的观点检索系统及其观点检索方法，能够高效地解析查询和文本的语义联系，检索出与用户查询相关并带有对查询观点的文档。

本发明采用以下方案实现：一种基于循环卷积网络的观点检索系统，包括数据预处理模块、查询语句与文档相关性得分计算模块、待查询文档的观点得分计算模块、统一相关检索模块和排序学习检索模块；

所述数据预处理模块用以对数据进行预处理；所述查询语句与文档相关性得分计算模块用以通过循环卷积网络得到各种长度下的N-gram表示，将结果输入核池层并使用排序学习方法，获得查询语句与文档的相关性；所述待查询文档的观点得分计算模块用以计算文档的观点得分；所述统一相关检索模块用以根据查询语句与文档相关性得分和文档观点得分得到一个文档的综合得分，文档综合得分从高到低排序，得到查询的观点检索结果并输出；所述排序学习检索模块用以将基于循环卷积网络计算出来的相关性得分作为新的特征加入到基于排序学习的推特信息常用的特征，以及在排序学习模型中性能最好的文本概念化特征、网络表示特征和观点得分特征中，并将这些特征融入到排序学习框架中进行分类，并按照顺序输出文档。

进一步地，所述推特信息常用的特征包括否有提及他人@、是否有超链接、作者的写作长度和发表篇数。

进一步地，本发明提供一种基于循环卷积网络的观点检索系统的观点检索方法，包括以下步骤：

步骤S1：所述数据预处理模块对数据进行预处理包括分词、去除停用词的操作；将查询语句与待查询的文档分别映射到低维的语义空间中获取词向量；