[发明专利]结合词聚合与词组合语义特征的文本相似性度量方法

摘要

本发明涉及结合文本集词聚合与词组合分布式语义特征的文本相似性度量方法，属于自然语言处理与机器学习领域。本方法首先联合文本集中词聚合、词组合分布式语义特征进行自编码填词预测，通过自编码的训练过程建立词嵌入编码网络；然后通过词嵌入编码网络构建词嵌入表示，再计算词嵌入的最大加权匹配作为文本相似性度量。本发明具有准确度高、分布式语义特征丰富的特点。构建的词嵌入编码网络可以有效利用词语的语义联系，建立分布式语义信息更加丰富的词嵌入表示，更好的描述词语之间的语义相似性，进一步提升文本相似性度量的准确性。

主权项

1.结合词聚合与词组合语义特征的文本相似性度量方法，其特征在于：由于文本中词语的词聚合、词组合分布形式的差异会带来语义层面的差异，为充分利用这种差异所对应的语义信息，本专利首先构建上下文词组合结构表示，再利用文本集中词语的词聚合、词组合分布式语义特征进行自编码填词预测，由自编码训练的过程得到词嵌入编码网络；然后，利用得到的词嵌入编码网络构建词嵌入表示，最后通过计算词嵌入的最大加权匹配距离作为文本相似性的度量，其具体包括如下步骤：步骤1，构造一个关于词典V的有向连通图，其中每个节点表示词典中一个词语，有向连边表示词语之间前后组合联系，将这个有向图表示为一个邻接矩阵，通过邻接矩阵的非对角元素表示上下文中词语的顺序组合联系(局部信息)，同时通过对角元素收集全文中词语的统计信息(全局信息)；步骤2，基于步骤1建立的邻接矩阵，通过编解码的过程预测目标词汇以及具有聚合联系的词语，具体过程如下：步骤2.1，给定一个上下文和p_i＝{p_i(w_t)}_t∈V∈C，假设聚合词汇是w_t，目标词汇是t_k(l+L)＝w_s∈V(窗口中间位置的词语)，令z_i(w_s)表示关于目标词汇上下文重构，z_i(w_t)表示关于聚合词汇的上下文重构，按照编解码过程，根据预测c_i和p_i(w_t)，整个过程可以表示为公式模型的目标是最小化重构的损失，采用均方误差来度量重构损失，模型的目标函数可以表示为以下重构损失度量公式通过最小化重构损失，找出尽可能正确的“答案”填入空格，具体步骤如下：步骤2.1.1，将目标词汇的上下文词组合邻接矩阵提供的信息分解为全文统计信息的对角区元素向量和上下文组合结构子矩阵；步骤2.1.2，通过梯度下降算法对这些保留下来的权重进行迭代式参数更新；步骤3，计算词对之间的相似性度量δst，考虑步骤2得到的词对(ws，wt)，其中ws∈Ωi，wt∈Ωj，通过词嵌入ws与文本Ωj所有词嵌入执行内积计算来表示彼此之间的相似性，记作δ(s)＝ws·Ωj；同样的，通过词嵌入wt与Ωi中所有词嵌入进行求内积计算来表征两者之间的相似性，记作δ(t)＝wt·Ωi，然后利用softmax函数公式对上述两种情况进行归一化处理，分别记作σ(δ(s))t和σ(δ(t))s，最后选择两者中较大的值作为词对的相似性度量，计算公式为δst＝max(σ(δ(s))t，σ(δ(t))s)；步骤4，由步骤3得到的词与文本的相似性度量δst，通过平均化最大加权匹配距离(Normalized maximum Matching Distance，NMD)得到文本的相似性度量，NMD的计算公式为