[发明专利]自然语言深度学习系统和方法

权利要求书

1.一种自然语言深度学习系统，包括：

误差计算单元，其被配置成在对所述自然语言深度学习系统进行训练时，根据基于样本对的损失函数来计算样本的误差值，其中，所述损失函数为相似度损失函数与类别损失函数的组合，

其中，所述相似度损失函数基于如下准则来定义：当所述样本对的真实类别相同时，其类别预测向量值之间的差别较小，而当所述样本对的真实类别不同时，其类别预测向量值之间的差别较大，

其中，所述类别损失函数基于所述样本对的类别误差来定义，

其中，所述样本对是词样本对，以及

其中所述损失函数pair_cost为：

pair_cost＝pair_simi_cost+pair_label_cost，

其中，相似度损失函数pair_simi_cost为：

类别损失函数pair_label_cost为：

其中，i是所述样本对中的第一样本的索引，j是所述样本对中的第二样本的索引，y_predi表示第一样本i的类别预测向量值，y_predj表示第二样本j的类别预测向量值，y_i表示第一样本i的真实类别，y_j表示第二样本j的真实类别。

2.根据权利要求1所述的系统，其中，所述自然语言深度学习系统在分批次随机梯度下降学习框架中进行学习，所述样本对选自每一个批次。

3.根据权利要求1所述的系统，还包括在所述自然语言深度学习系统中用于学习的待映射词为已有词嵌入词典中不存在的未见词时对该待映射词进行初始化的初始化单元，其中，所述初始化单元被配置为：

如果在原形词典中找到所述待映射词，则使用所述原形词典中对应的向量对所述待映射词进行初始化，否则，如果在词干词典中找到所述待映射词，则使用所述词干词典中对应的向量对所述待映射词进行初始化，

其中，所述原形词典用于存储所述已有词嵌入词典中的具有相同原形的多个词的词向量的质心向量和与该质心向量对应的原形，所述词干词典用于存储所述已有词嵌入词典中的具有相同词干的多个词的词向量的质心向量和与该质心向量对应的词干。

4.根据权利要求1所述的系统，还包括匹配单元，所述匹配单元被配置成：对通过不同分词技术获得的一个句子的不同的两个分词序列，基于其每个词之间的相似度来进行动态规划匹配，从而进行词特征融合。

5.根据权利要求4所述的系统，其中，所述相似度是通过计算两词之间的levenshtein距离来得到。

6.根据权利要求4所述的系统，其中，所述匹配单元进一步被配置为：

将所述两个分词序列分别设定为待匹配分词序列和目标分词序列；

以基于所述待匹配分词序列中的每个词与所述目标分词序列中的每个词两两之间的相似度作为元素来构建矩阵；以及

在所述矩阵中动态搜索路径，找到一条长度等于所述待匹配序列的长度的路径，并且在该路径上的所有元素的相似度之和最大。

7.根据权利要求6所述的系统，其中，在动态搜索路径中优先向所述待匹配分词序列的方向搜索路径。

8.根据权利要求6所述的系统，其中，所述匹配单元进一步被配置为：

基于所述矩阵中的每个元素的行索引和列索引、所述行索引和所述列索引分别对应的分词序列中的词的长度以及所述目标分词序列中的词的个数来限定搜索区间；

求所述矩阵在所述搜索区间中的所有元素的均值和标准差；以及

将所述搜索区间中的、大于所述均值与标准差之和的元素作为候选待匹配元素。

9.一种自然语言深度学习方法，包括：

在对自然语言深度学习系统进行训练时，根据基于样本对的损失函数来计算样本的误差值，其中，所述损失函数为相似度损失函数与类别损失函数的组合，

其中，所述相似度损失函数基于如下准则来定义：当所述样本对的真实类别相同时，其类别预测向量值之间的差别较小，而当所述样本对的真实类别不同时，其类别预测向量值之间的差别较大，

其中，所述类别损失函数基于所述样本对的类别误差来定义，

其中，所述样本对是词样本对，以及

其中所述损失函数pair_cost为：

pair_cost＝pair_simi_cost+pair_label_cost，

其中，相似度损失函数pair_simi_cost为：

类别损失函数pair_label_cost为：

其中，i是所述样本对中的第一样本的索引，j是所述样本对中的第二样本的索引，y_predi表示第一样本i的类别预测向量值，y_predj表示第二样本j的类别预测向量值，y_i表示第一样本i的真实类别，y_j表示第二样本j的真实类别。