[发明专利]基于Transformer问题关键词预测的多样性问题自动生成方法

说明书

本发明提出一种基于Transformer问题关键词预测的多样性问题自动生成方法，属于自然语言处理领域。该方法包括：首先对数据集进行编码，然后构建一个基于Transformer的问题关键词预测器，通过增强基于GRU网络的编码器‑解码器模型的输入端，最后在解码器的输出端采取谱聚类和集束搜索的解码方式生成多样性问题。本发明针对商品网站中潜在的商品信息缺失问题进行研究，采用深度学习的方法，自动生成辅助商家识别发布的商品信息缺失的问题，使用生成的多样性问题来提醒商家完善商品的描述信息。实验结果表明，本发明在自动评估方面都优于以往传统的方法。

技术领域

本发明涉及一种基于Transformer问题关键词预测的多样性问题自动生成方法，属于自然语言处理领域下的问题生成技术。

背景技术

随着互联网、人工智能和大数据的发展，自动问题生成对电子商务信息文本的内容进行提问具有重要意义，它可以辅助电子商务网站的商家提前预判个别消费者对商品

信息潜在的需求，规避客流量损失的风险。由于传统问题生成任务的目标是通过给定上下文和答案位置信息来生成问题，但是在电商领域的真实场景下，提供答案的位置信息会对问题的生成造成一定的影响。因此，最近有些研究学者开始研究如何通过上下文预测问题的关键词分布，以达到生成满足商家所需的问题。现有的方法仅仅使用卷积神经网络对问题关键词进行预测，很容易丢失上下文的结构信息，无法更深层的提取上下文的表征信息，导致问题预测不精准，最终影响问题生成的多样性和特殊性。

为了解决这一挑战，本发明通过构建一个基于TKPCNet的网络模型结构，训练一个端到端的神经网络。在模型中，第一阶段通过基于transformer问题关键词预测器，来预测问题关键词的语义信息，得到重要问题关键词的语义信息；第二阶段通过增强基于GRU的编码器-解码器模型，使用卷积神经网络提取问题关键词的语义信息，使用线性映射嵌入的方式，将提取的语义信息输入到编码器和解码器的输入端，来增强编码器-解码器模型；最终在解码阶段使用集束搜索算法产生多样性问题。

发明内容

本发明的目的：本发明提供一种基于Transformer问题关键词预测的多样性问题自动生成方法，通过生成质量更好的多样性问题，解决现有电商发布商品文本信息缺失，导致消费者流失的问题。

本发明的技术方案是：一种基于Transformer问题关键词预测的多样性问题自动生成，所述方法的具体步骤如下：

Step 1 提取数据集中的商品文本信息并转化为向量形式，作为TKPCNet模型的输入；

Step 1.1 对数据集进行预处理；读取数据集中商品的上下文文本信息以及对应的问题，将商品上下文文本信息和问题进行分词，再进行词频统计；

Step 1.2 对数据集中的商品信息id、上下文文本信息、问题进行三元组拼接，根据统计的词频将上下文文本信息和问题映射成向量形式。

对预处理后数据集中的商品id、上下文文本、问题进行三元组拼接，将商品的上下文文本和问题分词后的词汇，映射成可以识别的数组形式的列表集合，转换为TKPCNet模型需要的向量；再对上下文文本和问题的序列进行规范化操作，将上下文文本的序列长度大于阈值部分进行截断，对于上下文文本的序列长度小于阈值的，采取字符补齐；问题序列长度大于阈值部分进行截断，问题序列长度小于阈值部分采取字符补齐；对上下文文本和问题进行词到向量的映射，从而构建上下文文本信息和问题映射的序列向量形式。

Step 2 构建TKPCNet模型（基于Transformer的关键词预测条件网络模型，Transformer of Keyword Predictor Keyword-Conditioned Network），首先构建一个Transformer问题关键词预测模型，然后构建一个编码器-解码器模型，通过卷积神经网络提取问题关键词的语义信息，使用线性映射嵌入的方式，最后输送到模型的编码器和解码器的输入端进行融合，完成TKPCNet模型的构建；