[发明专利]一种语料抽取方法、装置和电子设备

说明书

本申请实施例提供了一种语料抽取方法、装置及电子设备，该方法包括：依据预先训练的目标种子语言模型对各待过滤语料进行迭代过滤处理，确定对应的语料迭代结果，其中，所述语料迭代结果包含过滤后的语料；当所述语料迭代结果符合预设的迭代任务条件时，将所述语料迭代结果中过滤后的语料作为抽取的目标语料。本申请实施例通过对待过滤语料进行迭代过滤处理，实现了自动筛选出所需抽取的目标语料，从而解决了基于人工总结规则确定出的人工设定的清洗策略难以清洗所有垃圾语料的问题。

技术领域

本申请涉及自然语言处理技术领域，特别是涉及一种语料抽取方法、一种语料抽取装置，以及一种电子设备。

背景技术

语言模型是根据语言客观事实而进行的语言抽象数学建模。语言客观事实经过语言模型的描述，比较适合于电子计算机进行自动处理，因而语言模型对于自然语言的信息处理具有重大的意义。

语言模型的质量很大程度上取决于训练语料的质量。现存的训练语料的清洗工作基本是基于人为总结的规则，即需要人工总结规则，麻烦费时。此外，语料来源比较复杂，人工设定的清洗策略难以清洗所有垃圾语料，即总有一些垃圾语料进入语音模型的训练语料，影响语料抽取质量。

发明内容

本申请实施例提供一种语料抽取方法，以解决现有语料抽取方案中需要人工总结规则而导致语料抽取效率低和语料抽取质量差的问题。

相应的，本申请实施例还提供了一种语料抽取装置和一种电子设备，用以保证上述方法的实现及应用。

为了解决上述问题，本申请实施例公开了一种语料抽取方法，包括：依据预先训练的目标种子语言模型对各待过滤语料进行迭代过滤处理，确定对应的语料迭代结果，其中，所述语料迭代结果包含过滤后的语料；当所述语料迭代结果符合预设的迭代任务条件时，将所述语料迭代结果中过滤后的语料作为抽取的目标语料。

本申请实施还公开了一种语料抽取装置，包括：迭代处理模块，用于依据预先训练的目标种子语言模型对各待过滤语料进行迭代过滤处理，确定对应的语料迭代结果，其中，所述语料迭代结果包含过滤后的语料；语料抽取模块，用于当所述语料迭代结果符合预设的迭代任务条件时，将所述语料迭代结果中过滤后的语料作为抽取的目标语料。

本申请实施例还公开了一种电子设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：依据预先训练的目标种子语言模型对各待过滤语料进行迭代过滤处理，确定对应的语料迭代结果，其中，所述语料迭代结果包含过滤后的语料；当所述语料迭代结果符合预设的迭代任务条件时，将所述语料迭代结果中过滤后的语料作为抽取的目标语料。

本申请实施例包括以下优点：

本申请实施例可以通过预先训练的目标种子语言模型，对待过滤语料进行迭代过滤处理，以自动筛选出所需抽取的目标语料，避免了现有技术中需要人工总结规则的麻烦，即节省语料抽取时间，从而提高语料抽取效率；以及，解决了基于人工总结规则确定出的人工设定的清洗策略难以清洗所有垃圾语料的问题，即能够快速准确地筛选出所需抽取的语料。

附图说明

图1是本申请的一种语料抽取方法实施例的步骤流程图；

图2A是本申请的一种语料抽取方法可选实施例的步骤流程图；

图2B是本申请一个可选实施例中的依据困惑度对各待过滤语料进行过滤的子步骤流程图。

图3是本申请的一种语料抽取装置实施例的结构框图；

图4是根据一示例性实施例示出的一种用于语料抽取的电子设备的结构框图；

图5是本申请根据另一示例性实施例示出的一种用于语料抽取的电子设备的结构示意图。

具体实施方式