[发明专利]一种面向在线问答平台的基于深度强化学习的问题标注方法

说明书

本发明公开了一种面向在线问答平台的基于深度强化学习的问题标注方法，基于深度神经网络和强化学习技术，构建模型，并在设计模型奖励的时候，在保证标注准确性的同时，创新性地加入衡量问题标签多样性的指标，同时考虑到尾标签效应，即在标注时复杂详细描述的长标签，从而使得标签能更深层次，更详细地描述问题。本发明综合考虑的标签的准确性，多样性，以及减少尾标签效应对问题标注的影响，并通过引入深度神经网络提高了强化学习模型训练的效率和准确性，并且能在一定置信度下保证匹配的误差范围。本发明的方案将能对问答平台中海量和问题和标签进行准确多样的匹配。

技术领域

本发明属于自然语言处理领域，更具体地，涉及一种面向在线问答平台的基于深度强化学习的问题标注方法。

背景技术

随着Web 2.0的发展，Quora1和知乎等社交问答(sQA)网站的发展越来越重要。一方面，类似于基于社区的问答(cQA)网站，它们包括提问的机制，发布答案问题的平台，以及围绕这些信息建立的社区。另一方面，sQA网站突出社交信息，尤其是主题标签之间的联系。例如，在知乎中，用户必须为他们的问题分配至少一个主题标签，并且他们能够遵循他们感兴趣的主题标签，这反过来有益于基于主题的问题路由和浏览。鉴于此，自动为新发布的问题提供正确的主题标签是加强用户体验和内容分发效率的关键。

现有的解决问题标签的任务在技术上主要可以分为两类：基于规则模型和数据驱动模型。前者通常将此问题标记任务视为给定问题与每个候选主题之间的匹配问题。为了估计相似性，手动设计了大量模板和规则，这将耗费大量的人工劳力。至于数据驱动的问题，他们将此任务表述为分类问题，例如char-Convolutional Neural Network(cCNN)和深层次CNN。他们尝试从训练数据中学习规则，以适应新问题，使其更容易实施，并通常实现最佳性能。尽管它们具有重要意义，但它们在实践中并不适用，因为有许多新创建的主题标签，其中的问题样本很少。这是因为有经验的用户可以随时在sQA站点中创建新的主题标签。另外，现有模型依次依赖于密集标记数据，即每个主题标签成千上万个问题，并且它们无法很好地处理实际环境中的任务。

在这样的短文中，有助于弥合问题和标签之间语义鸿沟的有用信息非常稀少。其次，我们观察到问题标签遵循长尾分布，其中大部分标签很少发生。超过98％的标签在两个数据集上出现的次数不超过500次(即0.05％的问题)。我们将这些标签称为“尾标签”和其他常用标签“头标签”。虽然偶然发生，尾部标签是对问题的特定和细粒度描述，其反映更准确的语义，因此对于专家发现，搜索和知识挖掘等更有用。现有的方法对标签多样性的考虑不足，标签所属话题领域的多样化往往能使得问题描述变得更加具体和丰富，因为在推荐给不同专家时能使得问题得到更多元化，更多层次的解决。

发明内容

为解决现有的技术缺陷，本发明公开了一种新的面向在线问答平台的基于深度强化学习的问题标注方法。本发明能有效解决由于标签过多，问题样本很少导致的过拟合问题，并在考虑为问题标注保证准确性的同时，对其标注多样性进行改善。

为解决上述技术问题，本发明的技术方案如下：

一种面向在线问答平台的基于深度强化学习的问题标注方法，包括以下步骤：

S1：利用MDP马尔科夫决策过程对问题构建Q-learning强化学习模型；

S2：搭建深度神经网络优化训练Q值；所述的Q值表示Q-learning强化学习模型中在状态s动作后获取的得分奖励；

S3：利用训练集训练深度强化学习模型；

S4：根据深度强化学习模型输出结果对问题进行标签标注。

在一种优选的方案中，所述的S1中的MDP马尔科夫决策过程定义为Μ＝<S,A,R,P,γ＞，其中，