[发明专利]基于双向长短时记忆网络模型的中文编码方法和装置

权利要求书

1.一种基于双向长短时记忆网络模型的中文编码方法，其特征在于，所述方法包括：

将训练语料数据转换为字符级数据；

根据预设符号将所述字符级数据进行切分，得到多个第一字符级数据，根据所述第一字符级数据的长度将所述多个第一字符级数据进行分组，得到K个数据集合，所述K个数据集合中的每个数据集合包含的第一字符级数据的长度相等，K为大于1的自然数；

从第i个数据集合中抽取多个第一字符级数据并将抽取的所述多个第一字符级数据输入第i个双向长短时记忆网络模型中，训练所述第i个双向长短时记忆网络模型，得到训练后的第i个双向长短时记忆网络模型，i依次取1至K之间的自然数，一共得到K个训练后的双向长短时记忆网络模型；

将目标语料数据转换为字符级数据，得到第一数据，将所述第一数据输入所述K个训练后的双向长短时记忆网络模型中的至少一个训练后的双向长短时记忆网络模型，得到所述目标语料数据的编码结果。

2.根据权利要求1所述的方法，其特征在于，所述从第i个数据集合中抽取多个第一字符级数据并将抽取的所述多个第一字符级数据输入第i个双向长短时记忆网络模型中，训练所述第i个双向长短时记忆网络模型，得到训练后的第i个双向长短时记忆网络模型，包括：

获取所述多个第一字符级数据对应的初始向量，将获取的初始向量确定为第二数据；

将抽取的所述多个第一字符级数据输入第i个双向长短时记忆网络模型的嵌入层进行向量化，将所述多个第一字符级数据中的每个字符转换成对应的向量；

将所述多个第一字符级数据中的每个字符对应的向量分别输入所述第i个双向长短时记忆网络模型中的双向长短时记忆网络层正向和反向的一个长短时记忆网络单元，其中，正向的第i-1个长短时记忆网络单元的输出结果输入正向的第i个长短时记忆网络单元，反向的第i-1个长短时记忆网络单元的输出结果输入反向的第i个长短时记忆网络单元；

将正向和反向的每个长短时记忆网络单元的输出数据输入所述第i个双向长短时记忆网络模型中的连接层，将正向和反向的长短时记忆网络单元的输出数据拼接在一起组合成第三数据；

将所述第三数据输入所述第i个双向长短时记忆网络模型中的输出层，所述输出层输出所述多个第一字符级数据对应的向量，将输出的向量确定为第四数据；

根据所述第四数据与所述第二数据计算损失函数的值；以及，

当所述损失函数的值小于或等于预设值时，停止优化所述第i个双向长短时记忆网络模型的网络参数，并获得训练好的第i个双向长短时记忆网络模型。

3.根据权利要求2所述的方法，其特征在于，所述获取所述多个第一字符级数据对应的初始向量，包括：

通过预设编码方式将所述多个第一字符级数据转换为对应的初始向量，所述预设编码方式为独热编码或者词转向量编码。

4.根据权利要求1所述的方法，其特征在于，所述将所述第一数据输入所述K个训练后的双向长短时记忆网络模型中的至少一个训练后的双向长短时记忆网络模型，得到所述目标语料数据的编码结果，包括：

根据预设符号将所述第一数据进行切分，得到多个字符级数据；

根据字符级数据的长度将所述多个字符级数据进行分组，得到L个数据集合，所述L个数据集合中每个数据集合包含的所有字符级数据的长度相等，L为自然数，1≤L≤K；

根据训练过程中使用的第一字符级数据的长度从所述K个训练后的双向长短时记忆网络模型中筛选出L个训练后的双向长短时记忆网络模型，得到第L1个至第LL个训练后的双向长短时记忆网络模型，将第j个数据集合包含的所有字符级数据输入第Lj个训练后的双向长短时记忆网络模型中，得到多个向量表示，其中，所述第Lj个训练后的双向长短时记忆网络模型训练过程中使用的第一字符级数据的长度与所述第j个数据集合包含的字符级数据的长度相等，j依次取1至L之间的自然数，Lj为1至K之间的自然数；

将所述多个向量表示作为所述目标语料数据的编码结果。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述第i个数据集合中第一字符级数据的长度等于所述第i个双向长短时记忆网络模型中的长短时记忆网络层正向的长短时记忆网络单元个数。