[发明专利]预训练模型数据处理方法、电子设备及计算机存储介质

说明书

本申请实施例提供了一种预训练模型数据处理方法、电子设备及计算机存储介质，其中，预训练模型数据处理方法包括：获取训练样本数据，每个训练样本数据包括多轮表格问答训练样本，每轮表格问答训练样本包括自然语言查询语句和对应的数据库模式数据；将训练样本数据输入预训练模型进行特征提取，获得多轮表格问答训练样本对应的多个样本特征；基于多个样本特征和对应的正负例标签，以及预设的对比学习损失函数，对预训练模型进行训练，其中，所述正负例标签根据所述多个样本特征对应的多个数据库查询语句之间的相似度确定，所述正负例标签用于表征当前样本特征与所述多个样本特征中的其它样本特征是否语义相关。

技术领域

本申请实施例涉及表格问答技术领域，尤其涉及一种预训练模型数据处理方法、电子设备及计算机存储介质。

背景技术

由于数据结构清晰、易于维护，表格/SQL数据库成为各行各业应用最普遍的结构化数据，也是智能对话系统和搜索引擎等的重要答案来源。传统表格查询需要专业技术人员撰写查询语句（如SQL语句）来完成，因门槛高，阻碍了表格查询的大规模应用。表格问答技术（也称为TableQA）通过将自然语言直接转换为SQL查询，允许用户使用自然语言与表格数据库直接交互，越来越被广泛使用。

一个表格问答系统主要由三部分组成，包括自然语言理解部分、对话管理部分和自然语言生成部分。其中，自然语言理解部分主要执行语义解析算法，将自然语言问句转为对应可执行的SQL语句；对话管理部分执行多轮的状态跟踪和策略优化；自然语言生成部分则根据解析出的SQL语句和SQL的执行结果生成对应的回复。对于自然语言理解部分，目前多通过预训练模型的训练输出对后续表格问答系统的自然语言理解部分进行功能支持。预训练模型是一种迁移学习的应用，其通过自监督学习从大规模数据中获得与具体任务无关的模型参数，并且，在支持一个新任务时，只需要利用该任务的标注数据对预训练模型进行微调即可实现。

但是，因目前研究较多的是单轮的 TableQA 问题，因此目前的预训练模型也基本都在解决单轮的情况。而在真实场景中，用户经常需要通过多轮询问才能获得期待的答案，所以多轮的 TableQA 问题越来越被关注，使得如何获得满足该场景下的预训练模型成为亟待解决的问题。

发明内容

有鉴于此，本申请实施例提供一种预训练模型数据处理方案，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种预训练模型数据处理方法，包括：获取训练样本数据，其中，每个训练样本数据包括多轮表格问答训练样本，每轮表格问答训练样本包括自然语言查询语句和对应的数据库模式数据；将所述训练样本数据输入预训练模型进行特征提取，获得多轮表格问答训练样本转换对应的多个样本特征；基于所述多个样本特征分别对应的正负例标签，以及预设的对比学习损失函数，对所述预训练模型进行训练，其中，所述正负例标签根据所述多个样本特征对应的多个数据库查询语句之间的相似度确定，所述正负例标签用于表征当前样本特征与所述多个样本特征中的其它样本特征是否语义相关。

根据本申请实施例的第二方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述方法对应的操作。

根据本申请实施例的第三方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。

根据本申请实施例的第四方面，提供了一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如第一方面所述的方法对应的操作。