[发明专利]在文本识别领域训练神经网络的方法、文本识别方法

说明书

本发明公开了一种在文本识别领域训练神经网络的方法、文本识别方法，涉及文本识别的技术领域，可以解决目前文本识别不能识别意图顺序的技术问题。在文本识别领域训练神经网络的方法包括：对训练文本执行分词操作，以将其转换为词向量组成的矩阵；重复执行以下步骤，直至连接时序分类方法的损失函数小于预定值，以得到训练好的神经网络：将词向量组成的矩阵输入神经网络，通过神经网络计算得到特征向量；使用连接时序分类方法接收特征向量，并计算连接时序分类方法的损失函数；判断损失函数是否小于预定值；在损失函数不小于预定值的情况下，使用损失函数更新神经网络的参数的权值。根据本发明技术方案，可以识别文本意图顺序。

技术领域

本发明涉及文本识别技术领域，尤其涉及一种在文本识别领域训练神经网络的方法、文本识别方法。

背景技术

随着深度学习的发展，文本分类的精度越来越高，比如常见的卷积神经网络模型、循环神经网络模型或者二者的组合模型，联合softmax损失函数，可以在文本分类任务上达到很高的精度。然而，在某些场合下，这种单分类的模型已经远远不能满足要求。比如，以自然语言处理领域中的意图识别为例。其中，一个文本可能不止一个意图，在需要将其中的意图全部识别出来时，需要用到多分类模型，即一个文本需要有多个分类标签。

针对上述需求，通过使用上述卷积神经网络模型、循环神经网络模型或者二者的组合模型，并改变其损失函数——将softmax函数改为多个sigmoid函数即可。由于sigmoid函数的取值范围是(0,1)，因此可以为每个类别设定一个临界值。该临界值可以拟合得出，也可简单设为0.5，类别大于该临界值则认为文本属于此类别。如果有多个类别大于临界值，则认为文本有多个分类。

然而，采用sigmoid作为损失函数，不能解决分类的顺序问题。以意图识别为例，假设共有10个分类(即10个意图)，并假设某文本有3个意图，意图编号从前到后依次是6、8、3。采用sigmod损失函数，仅能知道该文本有3个意图：3、6、8，而无法知道意图的顺序。

发明内容

为此，本发明提供了一种在文本识别领域训练神经网络的方法和装置、文本识别方法和装置、计算设备和可读存储介质，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的第一方面，提供了一种在文本识别领域训练神经网络的方法，包括：对训练文本执行分词操作，以将训练文本转换为词向量组成的矩阵；重复执行以下步骤，直至连接时序分类方法的损失函数小于预定值，以得到训练好的神经网络：将词向量组成的矩阵输入神经网络，通过神经网络计算得到特征向量；使用连接时序分类方法接收所述特征向量，并计算连接时序分类方法的损失函数；判断所述损失函数是否小于预定值；在损失函数不小于预定值的情况下，使用所述损失函数更新所述神经网络的参数的权值。

可选地，在根据本发明的在文本识别领域训练神经网络的方法中，所述神经网络包括卷积神经网络和循环神经网络，且所述方法还包括：将所述词向量组成的矩阵扩展为三重张量，以输入至卷积神经网络中。

可选地，在根据本发明的在文本识别领域训练神经网络的方法中，“对训练文本执行分词操作”包括：将组成一个词的两个以上的字，识别为一个词的组成部分。

根据本发明的第二方面，提供了一种文本识别方法，包括：接收文本输入；对文本输入执行分词操作，以将文本输入转换为词向量组成的矩阵；将词向量组成的矩阵输入到如权利要求1所述的在文本识别领域训练神经网络的方法训练出来的神经网络，得到文本输入的意图。

可选地，根据本发明的文本识别方法还包括：将所述意图输出至智能机器，以便于与智能机器展开对话。