[发明专利]一种面向深度答案推荐模型的主动学习方法

说明书

本发明公开了一种面向深度答案推荐模型的主动学习方法，涉及人工智能领域，具体为：首先，针对某个线上社区问答平台，将每个问题和对应的若干候选答案分别作为一个样本；利用通常采用的深度答案推荐模型通过dropout构建贝叶斯神经网络，包括在每层权重前设置dropout机制；然后，利用贝叶斯神经网络计算每个样本的近似期望损失；并将期望损失按从大到小排序，并选取前K个作为待标注数据样本；接着，将前K个样本中的每个样本分别分给三个用户，进行最优答案的人工标注，并将标注结果进行融合；训练当前线上社区问答平台的深度答案推荐模型；直至深度答案推荐模型达到收敛且最优性能。本发明有效减少了基于深度学习的答案推荐模型训练所需要的标注数据量。

技术领域

本发明涉及人工智能领域，特别是指一种面向深度答案推荐模型的主动学习方法

背景技术

随着互联网技术的快速更新与发展，致力于为用户提供知识的线上社区问答平台应运而生，此平台中用户可以提出问题，也可以贡献自己的知识提供答案。近些年，线上社区问答平台规模不断变大，每个问题可以得到许多答案，但是这些答案中往往存在很多低质量答案，导致用户查看问题时需要从大量答案中寻找最优答案，耗费大量的时间和精力，因此智能答案推荐模型被进行深度研究，以用于线上社区问答平台，成为提升平台使用体验的关键。

随着人工智能技术的飞速发展，深度学习模型在智能答案推荐领域被深入探索并取得了显著的效果。通常，面向答案推荐任务的深度学习模型是一个孪生网络架构，该架构使用编码器将输入的问题文本和答案文本转化为抽象的向量化表示，并将其进行拼接输入到一个全连接网络，最后通过softmax层输出该问题和答案的匹配分数。当对一个问题的所有候选答案计算匹配分数后，就可以根据分数推荐最优答案。

然而，训练深度答案推荐模型需要大量的标注数据，需要耗费大量时间和人力，极大的阻碍了推荐模型在实际中的应用。主动学习技术研究机器学习模型如何根据自身需求主动选择信息量大的数据获取标注，即针对性地提出数据标注需求，在保证模型训练效果的基础上极大的减少了标注任务的工作量。

因此如何将主动学习技术应用于深度答案推荐模型，对在线社区问答平台的发展具有重要意义。但面向传统机器学习模型的主动学习技术并不能直接应用在深度学习模型中，因为神经网络的预测分数不能简单作为其预测置信度。另外，答案推荐任务是对一个问题的多个候选答案进行排序，需要同时考虑目标问题和多个候选答案的关系。因此，这是一种较为复杂的机器学习任务，相应的深度主动学习机制也缺乏研究。

发明内容

针对训练深度答案推荐模型需要大量标注数据的问题，本发明提出了一种面向深度答案推荐模型的主动学习方法，基于主动学习机制，开发了可以应用于线上问答社区平台的数据标注界面，实现了主动学习方法的有效实施；减少了深度答案推荐模型训练所需要的标注数据量，对其在线上问答社区平台的部署具有重要意义。

所述的一种面向深度答案推荐模型的主动学习方法，具体步骤如下：

步骤一、针对某个线上社区问答平台，将该平台中的每个问题和对应的若干候选答案分别作为一个样本；

步骤二、利用该平台通常采用的深度答案推荐模型通过dropout构建贝叶斯神经网络，包括在神经网络的每层权重前设置dropout机制。

步骤三、利用贝叶斯神经网络计算每个样本的近似期望损失；

具体过程如下：