[发明专利]自然语言深度学习系统和方法

说明书

本发明涉及自然语言深度学习系统和方法。该系统包括：误差计算单元，其被配置成在对自然语言深度学习系统进行训练时，根据基于样本对的损失函数来计算样本的误差值，损失函数为相似度损失函数与类别损失函数的组合，其中，相似度损失函数基于如下准则来定义：当样本对的真实类别相同时，其类别预测向量值之间的差别应当较小，而当样本对的真实类别不同时，其类别预测向量值之间的差别应当较大，类别损失函数基于样本对的类别误差来定义。在该系统中，基于样本对设计损失函数，减少了基于样本对损失学习的代价。

技术领域

本发明涉及信息处理领域，更具体地涉及一种自然语言深度学习系统和方法。

背景技术

深度学习与自然语言处理技术的结合是近年来的研究热点。在现有深度学习模型系统中，以词为基本特征单元是自然语言处理深度学习框架的常见形式。通过研究表明，自然语言处理特征可以有效提升各种任务的学习性能，所以研究者通常会使用多种不同的词特征以引入更多可学习因素。但是在实际操作中会存在如下两方面问题：

1、生成词特征的自然语言工具都依赖于分词技术，不同的分词技术导致相同自然语言文本会产生不同的词序列，从而使词特征存在差异。这样带来的问题是多源词特征存在融合误差。

2、词嵌入是深度学习领域在自然语言处理领域中的一个重要环节。其主要作用是将词映射到一个词表示向量。通常情况下，一个好的词表示向量应该使在语义上相近的词在向量空间中距离近；反之，距离越远。由于通过机器学习从随机向量表示到好的向量表示往往需要大量的语料。因此，在样本规模不足的任务中，往往会以前人训练好的词表示作为词嵌入的初始值。这样就不可避免会出现未见词现象。尽管一些训练好的词嵌入将未见词都初始化到一个相同的向量，但不同未见词向意思相近词汇靠近的代价显然是不同的。简单将所有未见词初始化到一个相同的向量会导致神经网络局部收敛过慢。

除处理词特征方面的问题之外，训练样本不足也是深度学习与自然语言处理结合的一大障碍。在无充足样本的情况下，如何通过用更好的损失函数描述误差成为研究的热门问题。

因此，希望能够提供一种能够解决上述问题的自然语言深度学习系统和方法。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的一个主要目的在于，提供了一种自然语言深度学习系统，包括：误差计算单元，其被配置成在对自然语言深度学习系统进行训练时，根据基于样本对的损失函数来计算样本的误差值，损失函数为相似度损失函数与类别损失函数的组合，其中，相似度损失函数基于如下准则来定义：当样本对的真实类别相同时，其类别预测向量值之间的差别应当较小，而当样本对的真实类别不同时，其类别预测向量值之间的差别应当较大，类别损失函数基于样本对的类别误差来定义。

根据本发明的一个方面，提供一种自然语言深度学习方法，包括：在对自然语言深度学习系统进行训练时，根据基于样本对的损失函数来计算样本的误差值，损失函数为相似度损失函数与类别损失函数的组合，其中，相似度损失函数基于如下准则来定义：当样本对的真实类别相同时，其类别预测向量值之间的差别应当较小，而当样本对的真实类别不同时，其类别预测向量值之间的差别应当较大，类别损失函数基于样本对的类别误差来定义。

另外，本发明的实施例还提供了用于实现上述方法的计算机程序。

此外，本发明的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明