[发明专利]一种基于同义词分析的科技项目申报书的相似度检测方法

摘要

本发明公开了一种基于同义词分析的科技项目申报书的相似度检测方法，本发明结合了同义词分析和向量模型来计算科技项目申报书之间的相似性通过同义词分析技术对词典进行同义词分析，建立起同义词词典；针对科技项目申报书格式的特殊性，对科技项目申报书进行文本分块处理。再通过分词算法对文本块进行分析处理。在申报科技项目申报书项目的环节，通过自然语言处理、建立同义词林、分词等技术对科技项目申报书的全文、段落、句子进行了分词处理，对分析结果进行处理建立起特征权值向量，通过同义词分析和TF‑IDF模型对文本进行分析，建立特征权值向量空间，解决了向量空间模型无法处理语义的缺陷，提高了中文文本相似性度检测的准确性。

主权项

1.一种基于同义词分析的科技项目申报书的相似度检测方法，其特征在于包括如下步骤：步骤一：输入中文基础词典和中文停用词典；步骤二：构建一个BP神经网络模型，将中文基础词典作为神经网络模型的输入层进行训练分析，挖掘出其中的同义词，将属于某个词的所有同义词放置在同一行，从而组成同义词词林T；以中文基础词典为基础建立起字典树； 该字典树是一种树形结构，其根节点为空，每个节点对应一个字，通过从根节点出发向下依次遍历各个节点直至叶子节点或者标注有结束符号的中间节点均可组成为中文基础词典中的某个词；对中文基础词典进行同义词分析；其中同义词分析方法，具体步骤如下：步骤1：遍历中文基础词典，任取其中一个词条wk；步骤2：从字典树根结点出发向下遍历搜索得到要查找的词条wk的第一个字对应的节点；然后继续在以该节点为根的子树中搜索词条wk的下一个字对应的节点；重复以上步骤，直至找到词条wk在字典树中的完整遍历路径，为该路径的最后一个节点分配一个唯一的同义词编号；步骤3：在同义词林T中找到该词条wk的所有同义词，按步骤2所示方法在字典树中找到所有这些同义词的完整遍历路径，将这些完整遍历路径的最后一个节点标注为与词条wk的同义词编号相同的同义词编号；步骤4：重复步骤1、步骤2、步骤3，直至中文基础词典的所有词条都在字典树中找到完整遍历路径并且最后一个节点都被分配了同义词编号；步骤三：提取出某篇科技项目申报书Di中的文本内容并且剔除无意义的格式和符号；然后根据模板将科技项目申报书按照文本块类型划分为不同的文本块，根据各个文本块的重要性为每个文本块赋予不同权值；对科技项目申报书Di进行文本块划分处理后得到的文本块集，表示如下：其中，表示科技项目申报书D_i的文本块数量； 按此方法对所有科技项目申报书进行预处理；步骤四：根据字典树对每篇科技项目申报书D_i的文本块进行分词处理，去除包含在停用词典中的停用词条，最后得到的每个词条都用其同义词编号表示；步骤五：通过公式：计算每篇科技项目申报书Di中每个词条wk的IDF值；其中：|D|表示所有科技项目申报书数量,|{t:wk∈Dt}|表示包含词条wk的科技项目申报书的数量；如果IDF值小于某个预先设定的阈值，则视wk为新的停用词条，将其加入停用词词典组成新的停用词词典，并在由步骤四获得的分词结果去除新的停用词条；步骤六：为每篇科技项目申报书D_i的每一个文本块构建特征权值向量其中m表示特征权值向量的元素数量，特征权值向量的每个元素为词条w_k的词频与其IDF值的乘积，即：其中，Frequency(w_k)为w_k在中出现的次数；步骤七：任取两篇科技项目申报书D_i1,D_i2,按下式计算属于同一个文本块类型j的两个文本块之间的相似度，即：其中和为文本块对应的词条w_k的特征权值向量元素；该公式中的m表示特征权值向量的元素数量；然后对两篇科技项目申报书之间的所有属于同一文本块类型的两个文本块之间的相似度进行加权处理，得到两篇科技项目申报书之间的整体相似度，公式如下：其中Weight(Pj)表示文本块Pj的权值；该公式中的n表示文本块的总数量；步骤八：对于任一科技项目申报书Di，选择与其整体相似度最大的科技项目申报书，作为科技项目申报书Di的查重结果输出。