[发明专利]基于情报数据的文本检索分类方法、系统及存储介质

说明书

本发明公开一种基于情报数据的文本检索分类方法、系统及存储介质，方法包括：对OCR识别出来的文档进行采集，得到非结构化文档，并将文档存入数据库；通过人工或机器自动生成关键词字典，并对关键词字典进行归类；使用已分类的关键词字典对文档进行处理，基于关键词生成倒排索引，其中，在生成倒排索引时，增加每个所述关键词所在的位置信息；根据关键词所在的分类对文档进行分类标注，并将得到的分类结果存入数据库；对分类结果通过机器学习和/或人工标注方式生成新的词汇，并对新的词汇重新进行分类，将新的词汇存入所述关键词字典。本发明在生产索引的时候，增加每个关键字所在的位置信息，因加入了位置相关度信息，使得分类更准确。

技术领域

本发明涉及情报检索技术领域，尤其涉及一种基于情报数据的文本检索分类方法、系统及存储介质。

背景技术

目前文本分类的方法有很多，基于统计的分类方法是通过模型对文本数据进行分类，分类性能比较好的方法有KNN、SVM等，但是这类方法有局限性，比如语料不全、训练样本的数量不够或者质量不佳等都会影响文本的分类效果。此外，在资料搜索引擎中，目前lucene搜索引擎的核心文档打分算法没有考虑关键词在文档中的位置，当用户搜索多个关键词组合时，这个算法不会考虑关键词的顺序，比如“中国北京”两个关键词，它只要出现次数多打分就越高，但实际的文档出现了大量的“中国”关键词，而且“北京”只出现少量，而且都跟“中国”这个关键词离得很远,这样的文档打分高，反而连续出现“北京中国”，但频次不高的文档打分低，结果就不符合用户的期望，因此，现有的检索分类方法不准确。

发明内容

本发明的目的是提出了一种基于情报数据的文本检索分类方法、系统及存储介质，以解决原有打分算法位置不相关的问题，提高检索分类的准确性。

为实现上述目的，本发明提供的一种基于情报数据的文本检索分类方法，包括以下步骤：

对OCR识别出来的文档进行采集，得到非结构化文档，并将所述文档存入数据库；

通过人工或机器自动生成关键词字典，并对所述关键词字典进行归类；

使用已分类的关键词字典对所述文档进行处理，基于关键词生成倒排索引，其中，在生成倒排索引时，增加每个所述关键词所在的位置信息；

根据所述关键词所在的分类对所述文档进行分类标注，并将得到的分类结果存入数据库；

对所述分类结果通过机器学习和/或人工标注方式生成新的词汇，并对新的词汇重新进行分类，将所述新的词汇存入所述关键词字典。

其中，所述方法还包括：

在接收到用户基于待查询关键词的查询请求时，基于所述关键词字典计算所述待查询关键词的相关度，将所述待查询关键词的相关度乘以位置相关的权重，所述位置相关的权重基于所述待查询关键词所在的位置信息获得；

根据乘以位置相关的权重后的待查询关键词的相关度，并基于预设的打分公式对数据库中的文档进行全文检索排序，并将检索结果归类到所述待查询关键词所在的类别；

将检索结果呈现给用户。

其中，所述打分公式为：

score(q,d)＝distance(q,d)×queryNorm(q)×

∑_tinq(t∫(tind)×idf(t)²×t.getBost()×norm(t,d)；

其中，distance(q,d)为打分参数；

queryNorm(q)为计算每个查询条目的方差和；

t∫(tind)为Term t在文档d中出现的词频；

idf(t)为Term t在几篇文档中出现过；