[发明专利]动态宽度最大化解码方法、文本生成方法及存储介质

说明书

本发明公开了一种动态宽度最大化解码方法、文本生成方法及存储介质。为了克服现有技术中波束搜索不能满足需求，搜索结果性能下降或生成效率低的技术问题，本发明通过输出的概率分布动态地调整波束搜索的搜索宽度等技术手段，降低了搜索错误，在较高的搜索宽度参数设置下实现更高的质量的文本生成，相同的搜索宽度生成的文本与目标文本有更高的重合度，该方法还实现了降低了搜索宽度对文本质量的影响，减少了模型解码的时间的技术效果。本发明适用于自然语言处理领域。

技术领域

本发明属于自然语言处理领域，具体涉及一种动态宽度最大化解码方法、文本生成方法及存储介质。

背景技术

定向文本生成，在实际生成中有着广泛的应用，如机器翻译，文本对话，文本复述、文本摘要、表格-文本生成等。基于语言模型处理模块和解码方法的定向文本生成框架在现阶段有着最好的结果。在定向文本生成任务中，解码的目标是生成根据输入序列生成最可能的输出序列。找到最佳序列的最基本的方法是对所有步长输出的整个搜索空间进行精确搜索。

然而，由于神经网络语言模型处理模块词表中的词汇量很大，大词汇量在生成长文本的情况下实现完全搜索几乎是不可能的。使用语言模型处理模块进行完全搜索是一个NP完全问题，无法完全穷尽地进行输出。搜索全局的文本序列形式的最简单的方法是每个时间步的字符都选择最有可能的词，即最大化搜索。这种最大化解码方法以完全本地化的方式得到概率序列会产生严重的重复文本；而代替最大化解码方法，并实现次优的精确搜索的方法是波束搜索解码。通常使用波束搜索解码方法来完成语言模型处理模块输出的概率空间的目标搜索工作，即在规定搜索时间内找到概率序列空间中相对于输入的次优输出。

定向生成任务中由于输入输出具有明显的联系，这些任务使用最大化搜索或者波束搜索(Beam-Search)来实现文本生成时的解码工作。作为一种启发式的探索方法，在降低计算时间复杂度的情况下，Beam-Search尽可能的搜寻全局最优解——给定输入文本情况下，联合概率最高的输出序列。由于生成目标是全局最优，因此，拥有尽可能大的搜索宽度来似乎可以进一步提高生成文本的质量。但是实验表明，过度的提高搜索宽度不仅会大量增加搜索时间，而且生成的文本中拥有大量空白。

现有技术中的波束搜索方法在实际应用中，主要为以下几种：

1)搜索宽度不变，并在预定义时间步长内停止搜索；

2)宽度缩减的搜索方式，即在找到完整假设时搜索宽度减少，并在宽度达到0时终止搜索；

3)对搜索长度进行惩罚，将每个搜索序列的得分除以序列序列作为最终评判标准；

4)引入多样性分组方法以鼓励生成文本的多样性。

这些方法都是为了避免波束搜索方法中的问题，这些问题集中体现在：波束搜索在具有合适时间的搜索宽度中找到目标输出不能满足需求，并在提高搜索宽度后搜索结果的性能出现了下降，高搜索宽度方式下成大规模数据集时解码时间非常长，十分影响生成效率。大的波束搜索宽度在语言模型处理模块下游的定向文本生成任务会破坏文本生成的质量从而生成大量的重复可空白，而过小的波束搜索宽度会造成生成文本多样性的缺失。这种矛盾造成了搜索宽度参数选择的困难以及文本生成质量的下降。

鉴于现有技术中上述的缺陷，本领域亟需一种技术方案以克服或缓解以上技术问题。

发明内容

为了解决或缓解上述部分或全部技术问题，本发明是通过如下技术方案实现的：

一种动态宽度最大化解码方法，应用于文本生成过程中，该方法包括如下步骤：根据语言模型处理模块生成的概率分布集合，选择候选集；计算选择得到字符对应的生成该字符候选序列的概率序列得分；选择得分最大的K个候选序列作为输出文本，其中K为搜索宽度。