[发明专利]任务型对话模型预训练方法、装置、设备及存储介质

说明书

本发明涉及人工智能领域，公开了一种任务型对话模型预训练方法、装置、设备及存储介质。一种任务型对话模型预训练方法包括：获取历史对话记录中第一角色对话语句序列和第二角色对话语句序列，将所述第一角色对话语句序列、第二角色对话语句序列中的所有对话语句进行合并与重组，得到第一对话序列，并将所述第一对话序列中的所有对话语句进行随机排序，得到第二对话序列，对所述第一对话序列、第二对话序列中的每一个单词进行词向量叠加，得到第一初始词表达向量序列和第二初始词表达向量序列并输入预置BERT模型，进行预训练。本预训练方法同任务型对话中的变量有效结合，从而能够提取到对话语句中的深层含义。

技术领域

本发明涉及人工智能领域，尤其涉及一种任务型对话模型预训练方法、装置、设备及存储介质。

背景技术

具有自注意力编码结构的预训练模型已经被广泛的应用到许多NLP领域中。这些模型是基于大规模的通用文本语料库(如英语维基百科或书籍)进行自监督训练。预训练模型是一种迁移学习的应用，利用几乎无限的文本，学习输入句子的每一个成员的上下文相关的表示，它隐式地学习到了通用的语法语义知识。

目前已经提出的预训练模型有BERT，RoBERTa，XLNet等。这些模型大多采用自监督的方式在开放领域数据中进行预训练，包括两种预训练方法：一种是面向单句子任务(比如文本分类等)的mask language model自监督方式，另一种是基于句对任务(比如语义推论，句子匹配等)的next sentence prediction自监督方式，由于普通文本和任务型对话之间的语言模式的潜在差异，现有的预训练方法无法同任务型对话系统中变量有效结合而难以提取对话中的深层含义。

发明内容

本发明的主要目的在于解决现有预训练方法无法同任务型对话系统中变量有效结合而难以提取到对话中深层含义的问题。

本发明第一方面提供了一种任务型对话模型预训练方法，包括：

获取历史对话记录中第一角色对话语句序列，以及所述历史对话记录中的第二角色对话语句序列，其中，所述第一角色对话语句序列包括第一角色在多轮对话中的对话语句，所述第二角色对话语句序列包括第二角色在多轮对话中的对话语句；

将所述第一角色对话语句序列中的所有对话语句与所述第二角色对话语句序列中的所有对话语句进行合并与重组，得到第一对话序列，并将所述第一对话序列中的所有对话语句进行随机排序，得到第二对话序列；

对所述第一对话序列的每一个单词和所述第二对话序列的每一个单词进行词向量叠加，得到所述第一对话序列的第一初始词表达向量序列和所述第二对话序列的第二初始词表达向量序列；

将所述第一初始词表达向量序列和所述第二初始词表达向量序列输入预置BERT模型，进行预训练，其中，所述BERT模型用于预测对话属于第一对话序列和第二对话序列的概率分布。

可选的，在本发明第一方面的第一种实现方式中，所述将所述第一角色对话语句序列中的所有对话语句与所述第二角色对话语句序列中的所有对话语句进行合并与重组，得到第一对话序列包括：

将所述第二角色对话语句序列中的所有对话语句合并到所述第一角色对话语句序列中，得到对话样本序列；

按照对话角色顺序、对话轮次顺序，对所述对话样本序列中的对话语句进行排列，并在各对话语句之间插入预置时间分割符，得到第一对话序列。

可选的，在本发明第一方面的第二种实现方式中，所述所述对所述第一对话序列的每一个单词和所述第二对话序列的每一个单词进行词向量叠加，得到所述第一对话序列的第一初始词表达向量序列和所述第二对话序列的第二初始词表达向量序列包括：

基于预置分词工具对所述第一对话序列中的语句和所述第二对话序列中的语句进行分词，得到所述第一对话序列对应的第一分词序列和所述第二对话序列对应的第二分词序列；