[发明专利]结合词聚合与词组合语义特征的文本相似性度量方法

权利要求书

1.结合词聚合与词组合语义特征的文本相似性度量方法，其特征在于：

首先构建上下文词组合结构表示，再利用文本集中词语的词聚合、词组合分布式语义特征进行自编码填词预测，由自编码训练的过程得到词嵌入编码网络；然后，利用得到的词嵌入编码网络构建词嵌入表示，最后通过计算词嵌入的最大加权匹配距离作为文本相似性的度量，其具体包括如下步骤：

步骤1，构造一个关于词典V的有向连通图，其中每个节点表示词典中一个词语，有向连边表示词语之间前后组合联系，将这个有向图表示为一个邻接矩阵，通过邻接矩阵的非对角元素表示上下文中词语的局部信息同时通过对角元素收集全文中词语的全局信息；

步骤2，基于步骤1建立的邻接矩阵，通过编解码的过程预测目标词汇以及具有聚合联系的词语，具体过程如下：

步骤2.1，给定一个上下文和p_i＝{p_i(w_t)}_t∈V∈C，假设聚合词汇是w_t，目标词汇是t_k(l+L)＝w_s∈V，令z_i(w_s)表示关于目标词汇上下文重构，z_i(w_t)表示关于聚合词汇的上下文重构，按照编解码过程，根据c_i预测c_i和p_i(w_t)，整个过程由公式表示为：

模型的目标是最小化重构的损失，采用均方误差来度量重构损失，则模型的目标函数为：

通过最小化重构损失，找出目标词汇填入空格，具体步骤如下：

步骤2.1.1，将目标词汇的上下文词组合邻接矩阵提供的信息分解为全文统计信息的对角区元素向量和上下文组合结构子矩阵；

步骤2.1.2，通过梯度下降算法对这些保留下来的权重进行迭代式参数更新；

步骤3，计算词对之间的相似性度量δ_st，考虑步骤2得到的词对(w_s，w_t)，其中w_s∈Ω_i，w_t∈Ω_j，通过词嵌入w_s与文本Ω_j所有词嵌入执行内积计算来表示彼此之间的相似性，记作δ^(s)＝w_s·Ω_j；同样的，通过词嵌入w_t与Ω_i中所有词嵌入进行求内积计算来表征两者之间的相似性，记作δ^(t)＝w_t·Ω_i，然后利用softmax函数公式

对上述两种情况进行归一化处理，分别记作σ(δ^(s))_t和σ(δ^(t))_s，最后选择两者中较大的值作为词对的相似性度量，计算公式为

δ_st＝max(σ(δ^(s))_t，σ(δ^(t))_s)

步骤4，由步骤3得到的词对的相似性度量δ_st，通过平均化最大加权匹配距离(Normalized maximum Matching Distance，NMD)得到文本的相似性度量，NMD的计算公式为

。

2.根据权利要求1所述结合词聚合与词组合语义特征的文本相似性度量方法，其特征在于，步骤2.1.1中最小化重构损失过程，将编码网络与解码网络中负责重构目标词汇的解码网络设置为共享关系。