[发明专利]文本处理模型训练方法及装置

说明书

本公开涉及机器学习技术领域，提供了一种文本处理模型训练方法及装置。该方法包括：将N个长短期记忆网络串行连接，在每两个长短期记忆网络之间依次插入一个适配层和一个残差层，得到文本处理模型，每个残差层用于将与该残差层连接的适配层的输入和输出相加，并将相加的结果输入到与该残差层连接的长短期记忆网络；设置文本处理模型中第一个适配层的学习率，并根据第一个适配层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它适配层的学习率；获取训练数据集，利用训练数据集对文本处理模型进行基于文本处理任务的训练。采用上述技术手段，解决现有技术中，文本处理模型的精度和泛化能力不能满足需求，有待进一步提高的问题。

技术领域

本公开涉及机器学习技术领域，尤其涉及一种文本处理模型训练方法及装置。

背景技术

随着机器学习技术的发展，在文本处理领域出现了许多不同架构的网络模型和不同的训练方法。但是无论是基于哪一种架构的网络模型，以及基于哪一种训练方法对模型进行训练，相比于越来越高的需求，最终得到的文本处理模型的精度和泛化能力都是有待提高的。

发明内容

有鉴于此，本公开实施例提供了一种文本处理模型训练方法、装置、电子设备及计算机可读存储介质，以解决现有技术中，文本处理模型的精度和泛化能力不能满足需求，有待进一步提高的问题。

本公开实施例的第一方面，提供了一种文本处理模型训练方法，包括：将N个长短期记忆网络串行连接，在每两个长短期记忆网络之间依次插入一个适配层和一个残差层，得到文本处理模型，其中，每个残差层用于将与该残差层连接的适配层的输入和输出相加，并将相加的结果输入到与该残差层连接的长短期记忆网络，总共插入N-1个适配层和N-1个残差层；设置文本处理模型中第一个适配层的学习率，并根据第一个适配层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它适配层的学习率；获取训练数据集，利用训练数据集对文本处理模型进行基于文本处理任务的训练。

本公开实施例的第二方面，提供了一种文本处理模型训练装置，包括：构建模块，被配置为将N个长短期记忆网络串行连接，在每两个长短期记忆网络之间依次插入一个适配层和一个残差层，得到文本处理模型，其中，每个残差层用于将与该残差层连接的适配层的输入和输出相加，并将相加的结果输入到与该残差层连接的长短期记忆网络，总共插入N-1个适配层和N-1个残差层；计算模块，被配置为设置文本处理模型中第一个适配层的学习率，并根据第一个适配层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它适配层的学习率；训练模块，被配置为获取训练数据集，利用训练数据集对文本处理模型进行基于文本处理任务的训练。

本公开实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。

本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

本公开实施例与现有技术相比存在的有益效果是：因为本公开实施例通过将N个长短期记忆网络串行连接，在每两个长短期记忆网络之间依次插入一个适配层和一个残差层，得到文本处理模型，其中，每个残差层用于将与该残差层连接的适配层的输入和输出相加，并将相加的结果输入到与该残差层连接的长短期记忆网络，总共插入N-1个适配层和N-1个残差层；设置文本处理模型中第一个适配层的学习率，并根据第一个适配层的学习率，通过指数衰减公式或者线性衰减公式计算并设置其它适配层的学习率；获取训练数据集，利用训练数据集对文本处理模型进行基于文本处理任务的训练，因此，采用上述技术手段，可以解决现有技术中，文本处理模型的精度和泛化能力不能满足需求，有待进一步提高的问题，进而提高文本处理模型的精度和泛化能力。

附图说明