[发明专利]分层会议摘要生成模型训练方法、生成方法及装置

权利要求书

1.一种面向对话行为优化的分层会议摘要生成模型训练方法，其特征在于，该方法包括以下步骤：

获取中文会议数据集并进行预处理，所述预处理包括分词和建立词典，构建中文会议词汇列表，将所述中文会议词汇列表输入到BERT模型中，输出BERT词向量；

基于获取的中文会议数据集，利用双向长短期记忆网络及注意力机制，生成原始的中文会议数据每句话的对话行为标签；

采用所述BERT词向量和对话行为标签构成的训练样本集对预先建立的分层会议摘要模型进行训练，得到目标分层会议摘要生成模型。

2.根据权利要求1所述的方法，其特征在于，所述获取中文会议数据集的操作，实现方式包含以下一种或多种：英文会议数据集翻译得到，中文会议数据汇总和不断补充得到。

3.根据权利要求1所述的方法，其特征在于，所述获取中文会议数据集并进行预处理步骤，包含：

去除短于预设长度的句子；

去除预设范围内的标点符号；

执行分词操作；

过滤预设停用词词表范围内的停用词；

统计词频，去除词频小于预设频率的词；

建立词典，将每个词映射到一个唯一标识的索引，使词和索引一一对应。

4.根据权利要求1所述的方法，其特征在于，所述将中文会议词汇列表输入到BERT模型中，输出BERT词向量的步骤，包括：

在BERT输入层中，令牌嵌入层将中文会议词汇列表的各个词转换成预设维度的向量；段嵌入层有两种向量表示，用于区分一个句子对中的两个句子，前一向量是把0赋给第一个句子中的各个令牌，后一向量是把1赋给第二个句子中的各个令牌；位置嵌入层将单词的位置信息编码成特征向量，引入单词位置关系；随后将令牌嵌入层、段嵌入层以及位置嵌入层的向量进行相加，得到BERT输出层的输出向量；

在BERT隐藏层中，将BERT输入层的输出向量输入到BERT模型的隐藏层，每个隐藏层包含预设层数的转换器，输出所述BERT词向量。

5.根据权利要求4所述的方法，其特征在于，所述将中文会议词汇列表入BERT预训练模型，输出BERT词向量的步骤，还包括：

输入BERT词向量到全连接层，输出降维之后的BERT词向量，全连接层的每一个结点都与上一层的所有结点相连，用来把前期提取到的特征综合起来，把有用的信息保留下来，实现BERT词向量由高维变低维，能够加快模型训练速度。

6.根据权利要求1所述的方法，其特征在于，所述利用双向长短期记忆网络及注意力机制，生成原始的中文会议数据每句话的对话行为标签的步骤，包括：

利用双向长短期记忆网络进行编码，将所述中文会议数据以句子序列格式作为输入，得到一个前向隐藏状态和一个后向隐藏状态，连结前向隐藏状态和后向隐藏状态得到最终隐藏状态，所述最终隐藏状态作为原始会议数据的编码结果输出；

利用Sigmoid激活函数，以及前馈神经网络的权值矩阵，计算对话行为权重；

利用所述最终隐藏状态和对话行为权重计算对话行为上下文向量；

利用所述对话行为上下文向量和最终隐藏状态计算得到每句话的对话行为标签。

7.根据权利要求1所述的方法，其特征在于，所述采用所述BERT词向量和对话行为标签构成的训练样本集对所述预设分层会议摘要模型进行训练步骤，包括：

将BERT词向量输入到字级转换器，得到每个字符的编码结果；

将字级转换器输出的所述每个字符的编码结果与所述原始中文会议数据每句话的对话行为标签进行拼接，输入到轮级转换器，得到轮级转换器的编码结果；

将所述轮级转换器输出的编码结果输入到解码器，解码阶段的每个步骤都会输出一个输出序列，重复上述过程，直到到达一个特殊的终止符号，最后解码器输出一个实数向量；

将所述解码器输出的实数向量进行线性变换和Softmax函数处理，生成最终的会议摘要。