[发明专利]检索和相似度分析一体化的方法、装置和存储介质有效
申请号: | 201911392463.6 | 申请日: | 2019-12-30 |
公开(公告)号: | CN111104488B | 公开(公告)日: | 2023-10-24 |
发明(设计)人: | 卢达沛;罗乐滔;蓝飘;汤强;梁瑜灏 | 申请(专利权)人: | 广州广电运通信息科技有限公司;广州广电运通金融电子股份有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33 |
代理公司: | 广州嘉权专利商标事务所有限公司 44205 | 代理人: | 黎扬鹏 |
地址: | 510663 广东省广州市广州高*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 检索 相似 分析 一体化 方法 装置 存储 介质 | ||
本发明公开了检索和相似度分析一体化的方法、装置和存储介质,方法包括以下步骤:获取输入文本,并根据输入文本确定检索词;根据检索词,确定若干个匹配文档;根据匹配文档和输入文本,确定输入文本与每一匹配文档的相似度;根据匹配文档返回每一匹配文档的摘要文本。通过本发明根据输入文本确定检索词,利用检索词确定匹配文档,并返回匹配文档的摘要文本,即使输入文本包含大量的内容,也能够正常进行检索找到匹配文档,并返回摘要文本,不会出现崩溃的情况;同时能够根据匹配文档和输入文本,确定输入文本与匹配文档的相似度,在检索正常的情况下又支持相似度分析,便捷且用户体验好。本发明可广泛应用于数据处理领域。
技术领域
本发明涉及数据处理领域,尤其是一种检索和相似度分析一体化的方法、装置和存储介质。
背景技术
在自然语言处理中,经常会涉及到文本检索和对检索到的文本进行相似度分析的需求。现有的检索系统,通常只能输入少量几个词来检索特定内容,使检索系统能够返回摘要文本,而不支持大量文本的输入,例如“百度”仅支持38个汉字以内,当输入的内容较多时,检索系统会出现崩溃,而通常我们在需要对手上的文本与检索到的特定文本进行相似度分析时(例如查重等),必然需要输入大量的内容与检索到的特定文本进行对比,也就是说,现有的检索系统不能同时支持检索和相似度分析,不便捷,用户体验差。
发明内容
有鉴于此,为了解决上述技术问题,本发明的目的是提供便捷且同时满足检索和相似度分析的检索和相似度分析一体化的方法、装置和存储介质。
本发明采用的技术方案是:检索和相似度分析一体化的方法,包括以下步骤:
获取输入文本,并根据输入文本确定检索词;
根据检索词,确定若干个匹配文档;
根据匹配文档和输入文本,确定输入文本与每一匹配文档的相似度;
根据匹配文档返回每一匹配文档的摘要文本。
进一步,所述根据输入文本确定检索词的步骤中,包括以下步骤:
对第一文本进行分词处理,获得第一名词和第二名词;
分别为第一名词和第二名词配置第一分值和第二分值;
根据第一分值、第二分值和第一预设阈值,确定预设第一阈值数量的检索词;
其中,第一名词包括地点名词、人名、纯数字中的至少一种,第一分值大于第二分值,第二名词包括检索词和第一名词。
进一步,所述根据第一分值、第二分值和第一预设阈值,确定预设第一阈值数量的检索词的步骤中,包括以下步骤:
若第一名词和第二名词的数量小于第一预设阈值,通过TextRank算法获取输入文本的关键词;
根据第一分值、第二分值和关键词,确定预设第一阈值数量的检索词。
进一步,所述根据检索词,确定若干个匹配文档的步骤中,包括以下步骤:
根据检索词进行检索,获取每一检索词对应的初步匹配文档和初步匹配文档的初步匹配分值;
将相同的初步匹配文档的初步匹配分值进行累加,得到初步匹配文档的匹配分值;
根据匹配分值和第二预设阈值,确定若干个匹配文档。
进一步,所述根据匹配分值和第二预设阈值,确定若干个匹配文档的步骤中,具体地:
将匹配分值由高至低排名的排名不大于第二预设阈值的初步匹配文档作为匹配文档。
进一步,所述根据匹配文档和输入文本,确定输入文本与每一匹配文档的相似度的步骤中,包括以下步骤:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州广电运通信息科技有限公司;广州广电运通金融电子股份有限公司,未经广州广电运通信息科技有限公司;广州广电运通金融电子股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911392463.6/2.html,转载请声明来源钻瓜专利网。