[发明专利]基于双向长短时记忆网络模型的中文编码方法和装置

说明书

本发明实施例提供了一种基于双向长短时记忆网络模型的中文编码方法和装置。本发明涉及人工智能技术领域，该方法包括：将训练语料数据转换为字符级数据；根据预设符号将字符级数据进行切分，得到多个第一字符级数据，根据第一字符级数据的长度将多个第一字符级数据进行分组，得到K个数据集合；根据K个数据集合，得到K个训练后的双向长短时记忆网络模型；将目标语料数据经过处理之后输入K个训练后的双向长短时记忆网络模型中的至少一个训练后的双向长短时记忆网络模型，得到目标语料数据的编码结果。因此，本发明实施例提供的技术方案能够解决现有技术中中文编码精确度低的问题。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于双向长短时记忆网络模型的中文编码方法和装置。

背景技术

在自然语言处理领域中，现有的中文编码方法仅能处理序列长度较短的序列数据，对于一些序列长度较长的序列数据或其他复杂的数据，处理精度并不是很高。

发明内容

有鉴于此，本发明实施例提供了一种基于双向长短时记忆网络模型的中文编码方法、装置和计算机设备，用以解决现有技术中中文编码精确度低的问题。

第一方面，本发明实施例提供了一种基于双向长短时记忆网络模型的中文编码方法，包括：

将训练语料数据转换为字符级数据；

根据预设符号将所述字符级数据进行切分，得到多个第一字符级数据，根据所述第一字符级数据的长度将所述多个第一字符级数据进行分组，得到K个数据集合，所述K个数据集合中的每个数据集合包含的第一字符级数据的长度相等，K为大于1的自然数；

从第i个数据集合中抽取多个第一字符级数据并将抽取的所述多个第一字符级数据输入第i个双向长短时记忆网络模型中，训练所述第i个双向长短时记忆网络模型，得到训练后的第i个双向长短时记忆网络模型，i依次取1至K之间的自然数，一共得到K个训练后的双向长短时记忆网络模型；

将目标语料数据转换为字符级数据，得到第一数据，将所述第一数据输入所述K个训练后的双向长短时记忆网络模型中的至少一个训练后的双向长短时记忆网络模型，得到所述目标语料数据的编码结果。

其中在一种可能的实现方式中，所述从第i个数据集合中抽取多个第一字符级数据并将抽取的所述多个第一字符级数据输入第i个双向长短时记忆网络模型中，训练所述第i个双向长短时记忆网络模型，得到训练后的第i个双向长短时记忆网络模型，包括：

获取所述多个第一字符级数据对应的初始向量，将获取的初始向量确定为第二数据；

将抽取的所述多个第一字符级数据输入第i个双向长短时记忆网络模型的嵌入层进行向量化，将所述多个第一字符级数据中的每个字符转换成对应的向量；

将所述多个第一字符级数据中的每个字符对应的向量分别输入所述第i个双向长短时记忆网络模型中的双向长短时记忆网络层正向和反向的一个长短时记忆网络单元，其中，正向的第i-1个长短时记忆网络单元的输出结果输入正向的第i个长短时记忆网络单元，反向的第i-1个长短时记忆网络单元的输出结果输入反向的第i个长短时记忆网络单元；

将正向和反向的每个长短时记忆网络单元的输出数据输入所述第i个双向长短时记忆网络模型中的连接层，将正向和反向的长短时记忆网络单元的输出数据拼接在一起组合成第三数据；

将所述第三数据输入所述第i个双向长短时记忆网络模型中的输出层，所述输出层输出所述多个第一字符级数据对应的向量，将输出的向量确定为第四数据；

根据所述第四数据与所述第二数据计算损失函数的值；以及，

当所述损失函数的值小于或等于预设值时，停止优化所述第i个双向长短时记忆网络模型的网络参数，并获得训练好的第i个双向长短时记忆网络模型。