[发明专利]样本构建方法、装置、电子设备及可读存储介质

说明书

本申请公开了一种样本构建方法、装置、电子设备及可读存储介质，属于人工智能技术领域，该方法包括：获取平行语料训练样本，平行语料训练样本包含原始文本并携带原始文本中的每个关键词所对应的规范类型标签；将原始文本中的第一关键词替换为第一关键词对应的至少一个第一不符合规范词，以生成至少一个扩展文本；将第一关键词所对应的第一规范类型标签替换为第一不符合规范词所对应的第二规范类型标签，获得替换标签后的所述平行语料训练样本；基于替换标签后的所述平行语料训练样本与至少一个扩展文本，构建目标训练样本。

技术领域

本申请属于人工智能技术领域，具体涉及一种样本构建方法、装置、电子设备及可读存储介质。

背景技术

随着计算机性能和互联网技术的发展，现有的翻译方法通常是采用大规模双语平行语料训练翻译模型，并基于待翻译文本中真实语料的分布生成译文。

然而，由于平行语料训练样本往往是由高质量的规范文本组成的，因此，经过该平行语料训练样本训练得到的翻译模型只能对规范文本进行翻译，而对于包含不符合规范词的文本进行翻译时，整体的翻译准确度较低。

因此，如何构建更加丰富的平行语料训练样本是本申请亟待解决的问题。

发明内容

本申请实施例的目的是提供一种样本构建方法、装置、电子设备及可读存储介质，能够解决如何构建更加丰富的平行语料训练样本的问题。

第一方面，本申请实施例提供了一种样本构建方法，该方法包括：获取平行语料训练样本，平行语料训练样本包含原始文本并携带原始文本中的每个关键词所对应的规范类型标签；将原始文本中的第一关键词替换为第一关键词对应的至少一个第一不符合规范词，以生成至少一个扩展文本；将第一关键词所对应的第一规范类型标签替换为第一不符合规范词所对应的第二规范类型标签，获得替换标签后的平行语料训练样本；基于替换标签后的平行语料训练样本与至少一个扩展文本，构建目标训练样本。

第二方面，本申请实施例提供了一种样本构建装置，该装置包括：获取模块，处理模块和构建模块；获取模块，用于获取平行语料训练样本，平行语料训练样本包含原始文本并携带原始文本中的每个关键词所对应的规范类型标签；处理模块，用于将获取模块获取的平行语料训练样本中的原始文本中的第一关键词替换为第一关键词对应的至少一个第一不符合规范词，以生成至少一个扩展文本；处理模块，还用于将获取模块获取的平行语料训练样本中的第一关键词所对应的第一规范类型标签替换为第一不符合规范词所对应的第二规范类型标签，获得替换标签后的平行语料训练样本；构建模块，用于基于处理模块处理后的替换标签后的平行语料训练样本与至少一个扩展文本，构建目标训练样本。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。