[发明专利]用于答案选择系统的数据处理方法及应用

说明书

用于答案选择系统的数据处理方法、数据处理装置和电子设备。该数据处理方法包括：获取对抗样本数据和正常样本数据，对抗样本数据包括至少一条问题数据和相对应的至少一条答案数据，且至少一条答案数据是相对于问题的错误答案；基于对抗样本数据和正常样本数据的词向量表示生成问题数据和答案数据对应的隐状态序列；基于隐状态序列，生成问题数据的最终问题表示和答案数据的最终答案表示；计算最终问题表示和最终答案表示之间的相似度；以及，计算相应的损失函数以通过反向传播调整答案选择系统的网络参数。这样，可以通过基于对抗样本数据进行特定系统模型的训练，从而提升答案选择系统的性能。

技术领域

本发明总体地涉及数据处理领域，且更为具体地，涉及一种用于答案选择系统的数据处理方法、数据处理装置和电子设备。

背景技术

随着互联网技术的发展，越来越多的人选择在网上搜索问题，并获取与问题相关的答案。然而，当用户通过网络获取自己所需的答案时，针对网上海量的与问题相关的答案，用户往往需要花费大量的时间才能找到自己想要的答案。

答案选择系统正是基于这样的背景应运而生，其目的在于帮助用户快速且准确地获取与问题相关的正确答案。

在答案选择系统中应用了大量的算法，并发挥着巨大的作用，其中不少算法的应用非常成功，应用领域也很广。但是，这些算法也在不同方面，例如鲁棒性、可预测性方面存在不足。

因此，需要改进的用于答案选择系统的数据处理方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于答案选择系统的数据处理方法、数据处理装置和电子设备，其通过基于对抗样本数据进行特定系统模型的训练，从而提升所述答案选择系统的性能。

根据本申请的一方面，提供了一种用于答案选择系统的数据处理方法，包括：获取对抗样本数据和正常样本数据，所述对抗样本数据包括至少一条问题数据和相对应的至少一条答案数据，且所述至少一条答案数据是相对于所述问题的错误答案；通过词嵌入层生成所述对抗样本数据和所述正常样本数据的词向量表示；通过双向长短期记忆层处理所述对抗样本数据和所述正常样本数据中的问题句子和答案句子以获得问题句子和答案的字符向量表示；结合所述字符向量表示和所述词向量表示作为所述对抗样本数据和所述正常样本数据的最终词向量表示；通过双向长短期记忆层处理所述最终词向量表示以获得所述问题数据和所述答案数据对应的隐状态序列；基于所述问题数据对应的隐状态序列，通过池化层计算出所述问题数据的第一问题表示；通过注意力机制层根据所述第一问题表示计算出所述答案数据的第一答案表示；基于所述答案数据对应的隐状态序列，通过池化层计算出所述答案数据的第二答案表示；通过注意力机制层根据所述第二答案表示计算出所述问题数据的第二问题表示；结合所述第一问题表示和所述第二问题表示作为最终问题表示；结合所述第一答案表示和所述第二答案表示作为最终答案表示；计算所述最终问题表示和所述最终答案表示之间的相似度；以及，计算相应的损失函数以通过反向传播调整所述答案选择系统的网络参数。

在上述用于答案选择系统的数据处理方法中，获取所述对抗样本数据包括：选择与至少一条问题数据对应的至少一条正确答案数据；以及，随机替换所述正确答案数据中的词语以生成所述对抗样本数据。

在上述用于答案选择系统的数据处理方法中，获取所述对抗样本数据包括：从正确答案中选择至少2个连续的词语；选择一条错误答案数据；以及，将所述至少2个连续的词语结合于所述错误答案数据之后，以生成所述对抗样本数据。

在上述用于答案选择系统的数据处理方法中，获取所述对抗样本数据包括：随机采样至少一序列词语；选择一条正确答案数据；以及，将所述至少一序列词语结合于所述正确答案数据之后，以生成所述对抗样本数据。

在上述用于答案选择系统的数据处理方法中，计算所述最终问题表示和所述最终答案表示之间的相似度包括：利用余弦函数计算所述最终问题表示和所述最终答案表示之间的相似度。