[发明专利]一种可扩展的基于神经网络的序列标注方法

说明书

本发明公开了一种可扩展的基于神经网络的序列标注方法。本方法为：创建一层叠n阶模型，该层叠n阶模型的训练过程为：首先根据训练语料中各标注单元的标签生成多个标签集合，包括一阶至n阶n个标签集合；标注单元i的标签与其邻近n‑1个标注单元的标签合并在一起作为标注单元i的n阶标签，n阶标签集合为各标注单元的n阶标签构成的标签集合；然后利用得到的各阶标签集合分别训练神经网络，分别得到n个模型，即一阶神经网络模型至n阶神经网络模型；利用该层叠n阶模型对给定的序列进行标签预测，得到一标签序列。本发明显著减少了模型过拟合风险，提高了序列标注任务效果。

技术领域

本发明属于自然语言处理领域，涉及序列标注，尤其涉及一种不同阶模型信息组合解码的序列标注方法。

背景技术

神经网络处理序列标注问题时，在训练阶段，为每一预测出它的相应标签，代价函数是神经网络的预测输出与标准标注的交叉熵，训练过程最小化目标函数。在解码阶段，由神经网络直接预测出当前词的标签。

现有的神经网络处理序列标注问题时，对当前词(字)预测出的标签不涉及周围词(字)标签，即每个词(字)的预测出的标签是独立于其它词(字)的，而后在独立标签的基础上进行梯度下降，这种训练方法很容易出现过拟合问题，并且可能会使神经网络的信息捕捉能力不能完全体现出来。

发明内容

为了克服现有神经网络在序列标注问题上标签独立的技术不足，本发明提供了一种易于扩展的新的序列标注问题的训练与解码方法(在神经网络序列标注问题中，解码过程即为获取输入标注序列的过程)。通过利用高阶标签进行训练和一种联合高阶信息及低阶信息解码的方式来减少过拟合问题，提高神经网络模型表现。

本发明提供的技术方案是：

一种可扩展新的训练方式，通过修改原始文本的单阶标签为更高阶的标签进行训练，以及一种新的解码方式，该解码方式联合了之前训练得到的各阶信息，利用动态规划找出一条最优的标注路径。具体步骤如下：

1)训练过程：

本发明训练过程是不同阶的模型独立训练的过程。对于序列标注问题，标注单位可能是单词或字，以下介绍使用“词”表示标注单位，但不限于词。本发明提出了一种新的标注模式，将当前词的标签与其周围词的标签合并在一起作为一个新的标签。若新的标签由n个标签合并而成，则称其为n阶标签。原始标签是只针对于当前词的标签，即一阶标签，一阶标签集下训练的模型是一阶模型。二阶标签集可通过合并当前词的标签和它之前的词的标签得到，三阶标签集，可通过合并当前词(字)的标签和它之前的词(字)的两个标签得到，更高阶的标签集以此类推。以命名实体识别任务为例，若当前词的标签为I-Location，它的前一个词的标签是B-Location，再往前一个的词的标签是O，则当前词的二阶标签是(B-Location,I-Location)，当前词的三阶标签是(B-Location,I-Location,O)。n阶模型即在n阶标签集下训练的模型。一阶神经网络模型至n阶神经网络模型的模型结构相同，只是各自具有与其阶数对应的标签集，它们的训练过程相互独立。层叠n阶模型是指包含了一阶模型至n阶模型训练过程的模型。

一般是神经网络在输出层会经过一个softmax函数，该softmax函数输出对当前词的所有可能标签的概率分布。此概率分布与真实标签的0-1分布求交叉熵作为代价函数，神经网络的训练是为了最小化此代价函数。为了在解码阶段联合使用不同阶的预测信息，对不同阶数下预测的每个词的概率分布需要进行存储。

至此，除改变了标签集，不同阶数的神经网络模型训练方式与普通神经网络训练方式一致，且神经网络模型结构本身并未发生变化。

2)解码过程：