[发明专利]数据处理方法、装置及计算机存储介质

说明书

本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质。根据本申请实施例提供的方案，首先通过获取得到的包含正确语料元素和错误语料元素的真实平行语料训练得到反向错误生成模型，并基于反向错误生成模型得到大量的模拟平行语料，从而可以基于所述模拟平行语料进行模型训练得到预训练模型，以及基于真实平行语料对预训练模型进行调整得到纠错模型，提高了训练得到的纠错模型的泛化性能，纠错模型也更准确。

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置及计算机存储介质。

背景技术

在纠错场景中，神经网络机器翻译(Neural Machine Translation,NMT)模型开始逐渐替代统计翻译(SMT)模型，将搜索时输入的错误文本纠正为正确文本。NMT模型在模型训练阶段，通常需要使用同时包含模拟错误语料元素和正确语料元素的平行语料，也即：错误→正确语料对进行训练。例如，错误语料为“乐明苑”，正确语料为“乐民苑”，则“乐明苑”和“乐民苑”即构成了一组平行语料。

然而，平行语料特别是双语平行语料(例如，京鹏串吧→京朋串吧)的挖掘成本往往很高，但挖掘出双语平行语料的数量较少情况，这会影响训练得到的NMT模型的准确度。

因此，如何提升NMT模型的纠错能力以实现准确的查询或者搜索成为亟待解决的问题。

发明内容

有鉴于此，本申请实施例提供一种数据处理方案，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种数据处理方法，包括：获取包含正确语料元素和错误语料元素的真实平行语料，用所述真实平行语料训练反向错误生成模型；获取模拟正确语料元素，用所述反向错误生成模型预测所述模拟正确语料元素对应的模拟错误语料元素，生成包含所述模拟正确语料元素和对应的模拟错误语料元素的模拟平行语料；用所述模拟平行语料训练序列映射模型得到预训练模型；用所述真实平行语料进行所述预训练模型调整，得到纠错模型。

根据本申请实施例的第二方面，提供了一种数据处理装置，包括：错误模型训练模块，获取包含正确语料元素和错误语料元素的真实平行语料，用所述真实平行语料训练反向错误生成模型；模拟模块，获取模拟正确语料元素，用所述反向错误生成模型预测所述模拟正确语料元素对应的模拟错误语料元素，生成包含所述模拟正确语料元素和对应的模拟错误语料元素的模拟平行语料；预训练模块，用所述模拟平行语料训练序列映射模型得到预训练模型；纠错模型训练模块，用所述真实平行语料进行所述预训练模型调整，得到纠错模型。

根据本申请实施例的第三方面，提供了另一种数据处理方法，包括：接收携带查询词的查询请求；通过训练完成的纠错模型，对存在错误的查询词进行纠错处理，获得正确的查询词，其中，所述纠错模型为基于前述数据处理方法获得的纠错模型；根据所述纠错后的查询词，召回所述查询请求对应的查询结果。

根据本申请实施例的第四方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第三方面所述的数据处理方法对应的操作。

根据本申请实施例的第五方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第三方面所述的数据处理方法。

根据本申请实施例提供的方案，首先通过获取得到的包含正确语料元素和错误语料元素的真实平行语料训练得到反向错误生成模型，并基于反向错误生成模型得到大量的模拟平行语料，从而可以基于所述模拟平行语料进行模型训练得到预训练模型，以及基于真实平行语料对预训练模型进行调整得到纠错模型，提高了训练得到的纠错模型的泛化性能，纠错模型也更准确。

附图说明