[发明专利]一种训练样本生成方法、装置、电子设备及存储介质

说明书

本发明提供了一种训练样本生成方法，包括：获取待处理的初始文本数据；对所述初始文本数据进行分词处理，以形成与所述初始文本数据相匹配的关键词；根据与所述初始文本数据相匹配的关键词对初始文本进行筛选，以形成针对指定业务的目标文本；通过所述目标文本对相应的文本处理模型进行训练；根据所述文本处理模型的训练结果对所述目标文本进行领域数据增广处理，以形成针对指定业务的训练样本。本发明还提供了训练样本生成装置、电子设备及存储介质。本发明能够实现提升训练样本的针对性，使其更适用于机器阅读理解任务，同时提高了对特定业务领域的神经网络模型的识别精准度、增强其鲁棒性。

技术领域

本发明涉及机器学习技术，尤其涉及一种训练样本生成方法、装置、电子设备及存储介质。

背景技术

现有技术中，随着机器学习技术的发展，机器阅读可以通过BERT(BidirectionalEncoder Representations from Transformers，源于Transformers的双向编码器)机制实现，在使用BERT对应的模型对文本数据进行处理的过程中，可以将文本数据拆分成一个一个的字符，然后，将每一个字符依次输入到BERT对应的模型中，得到相应的输出结果。但是这一过程中，存在着针对开放领域训练得到的模型在特定领域表现不佳的缺陷(准确率较低、鲁棒性较差)，以及面向特定领域机器阅读理解任务的训练数据资源缺乏的问题。

发明内容

有鉴于此，本发明实施例提供一种训练样本生成方法、装置、电子设备及存储介质，能够利用与针对指定业务的目标文本；通过目标文本对相应的文本处理模型进行训练；根据所述文本处理模型的训练结果对所述目标文本进行领域数据增广处理，以形成针对指定业务的训练样本。提升了训练样本的针对性，使其更适用于机器阅读理解任务，同时提高了对特定业务领域的神经网络模型的识别精准度、增强其鲁棒性。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种训练样本生成方法，所述方法包括：

获取待处理的初始文本数据；

对所述初始文本数据进行分词处理，以形成与所述初始文本数据相匹配的关键词；

根据与所述初始文本数据相匹配的关键词对初始文本进行筛选，以形成针对指定业务的目标文本；

通过所述目标文本对相应的文本处理模型进行训练；

根据所述文本处理模型的训练结果对所述目标文本进行领域数据增广处理，以形成针对指定业务的训练样本。

本发明还提供了一种训练样本生成装置，所述装置包括：

信息传输模块，获取待处理的初始文本数据；

信息处理模块，用于对所述初始文本数据进行分词处理，以形成与所述初始文本数据相匹配的关键词；

所述信息处理模块，用于根据与所述初始文本数据相匹配的关键词对初始文本进行筛选，以形成针对指定业务的目标文本；

所述信息处理模块，用于通过所述目标文本对相应的文本处理模型进行训练；

所述信息处理模块，用于根据所述文本处理模型的训练结果对所述目标文本进行领域数据增广处理，以形成针对指定业务的训练样本。

上述方案中，

所述信息处理模块，用于确定与所述文本处理模型的使用环境相匹配的动态噪声阈值；

所述信息处理模块，用于根据所述动态噪声阈值对所述目标文本集合进行去噪处理，并触发与所述动态噪声阈值相匹配的第一分词策略；

所述信息处理模块，用于根据与所述动态噪声阈值相匹配的第一分词策略，对所述初始文本进行分词处理，形成与所述初始文本相匹配的关键词；或者