[发明专利]一种专利文本相似度计算方法

说明书

本发明涉及一种专利文本相似度计算方法，包括以下步骤：从两个专利文本中提取专利数据，对专利数据进行预处理；将词性权重和词位置权重与TF‑IDF算法相结合计算出词权重；将两个专利文本以向量空间模型表示出来，得到两个分布式词向量；计算文本相似度，当得到的专利文本相似度大于设定的阈值时，则认为两篇专利相似，否则不相似。本发明综合考虑了专利结构特点和词汇间语义关系，将IPC分类号、摘要、权利要求书等专利文本特有的结构融合到文本相似度计算方法当中，比一般文本相似度计算方法更加具有针对性，能保证较高的准确率和召回率，可以很好地满足实际应用的需要。

技术领域

本发明属于计算机文本信息处理技术领域，具体涉及一种专利文本相似度计算方法。

背景技术

专利文献具有相对固定的组织结构，其组织结构主要包括IPC分类号、标题、摘要、说明书、权利要求书等。其中IPC分类号是国际通用分类号，根据IPC分类号可以判定专利类别，权利要求书是发明或者实用新型专利要求保护的内容，是申请专利的核心。专利文献为保持其新颖性以及避开专利雷区，在用词方面一般使用独特或不常用的词或短语来表达一些常见性的语义，例如用“一种盛水的容器”来表达“水杯”的含义，再例如用“没有固定停放地点的单车”替代“共享单车”的概念在专利文献中使用。因此专利文献相似度计算的准确与否很大程度上取决于词语间语义相似度的计算。

根据研究方法的不同，词语间的语义相似度的研究大体上可以分为两大类：基于知识的词语语义分析和基于统计的词语语义分析。基于知识的词语语义分析需要一个庞大而丰富的知识库，库中包含了词语概念、上下位等逻辑关系，通过计算不同词语在知识库中的语义距离来表示词语间的相似程度。基于统计的词语语义分析主要是在概率论，统计论等数学理论的基础上，对大规模语料进行统计，通过判断词语的上下文语境是否相似来判断词语之间的相似程度。

文本相似度的计算方法主要包括基于统计、基于语义信息、基于句法结构、基于编辑距离的方法。在现有技术中，向量空间模型(VSM)作为最常用的一种文本表示方式，是由Salton等人于20世纪70年代首次提出，并将此模型成功应用于SMART文本检索系统。向量空间模型是将文本内容的处理转化为空间向量的运算，通过空间向量的距离表示文本内容的相似程度，直观易懂。在构建向量空间模型的过程中，词频-逆文档频率(TF-IDF)是使用最广泛的计算权重方法。词汇的TF-IDF值可以用来衡量词汇在文本中的重要程度，一个词在某一文本中出现的次数越多也就是TF值越大(为了降低文本长短不同对TF值的影响一般在计算TF值时需要做归一化处理)，并且在同一语料库下的其他文本中包含该词的文本数越小即IDF值越大，则该词越能反映该文本的主题。余弦相似度是计算文本相似度的一种重要方法，其宗旨是将文本通过向量空间模型向量化后，计算向量之间的夹角，夹角余弦值越大表示两个向量夹角越小则两个文本间相似度越高，当两个向量夹角余弦值为1即两个向量重合，此时可以粗略认为两个向量表示的文本内容是一样的。通过上述TF-IDF的介绍可知，以TF-IDF值作为权重计算文本相似度的方法，仅仅是把文本间出现的相同词汇作为参考指标，并没有把词汇语义信息考虑在内。在实际中，只对词频进行统计而忽略词汇间语义信息的文本相似度计算方法是远远不够的。例如一篇描述苹果的文本和一篇描述香蕉的文本，基于词频统计的方式可能就会认为这是两篇完全不相关的文本。