[发明专利]开放性文本生成方法以及存储介质

说明书

本发明涉及一种开放性文本生成方法以及存储介质。为了解决现有技术中，文本生成面临着长文本退化，逻辑一致性差，事实不一致等问题，且不能通过调整这些算法本身的参数来进行修正的问题，本发明在文本生成解码方法过程中引入更多的控制信息，基于深度神经模型的解码方法，并在此基础上利用语言模型和语料训练该解码模型，通过拟合文本在语言模型产生的信息序列来进行训练解码模型，在生成阶段根据解码模型预测的字符信息从概率分布中进行选择。本发明在静态评价指标和文本生成人工评价方面都取得了更好的技术效果。本发明适用于自然语言处理领域。

技术领域

本发明涉及自然语言处理领域，具体涉及一种开放性文本生成方法以及存储介质。

背景技术

生成尽可能真实的长文本一直是人工智能领域的一个目标，同是有着广泛的应用需求。而作为完全使用机器生成长文本的方式，生成质量一直饱受关注。现阶段能生成较好文本质量的生成系统使用神经网络语言模型加解码算法这一生成框架。该生成框架进行文本生成的过程分为两步：第一步利用语言模型生成条件概率分布；第二步利用解码算法从该概率分布中选择一个字符。虽然目前在语言模型建模方面取得了长足的进步，但解码算法一直被报告为生成过程中的技术细节。

由于对生成文本的多样性有所需求，因此通常使用随机解码类算法从模型生成的概率分布中进行字符选择。但随机解码算法有一个缺点：文本虽然表面看起来通顺，但却能被专家或者专门的识别程序识别，且生成的长文本仍会有偏离主题，文本退化和相互矛盾的问题，即会发生严重的文本退化。这是由于随机类解码算法在解码阶段没有起到应有的作用，即将更多的控制信息交给解码工作而不是进行随机采样可以提高文本生成的质量。

目前最主要的开放性文本生成解码算法主要有以下几种：

1.完全随机采样：完全随机采样方法利用多项式采样方法对概率分布中的所有词进行采样，其采样结果数是词表的大小，每个词的权重为概率分布中的概率。由于采样过程中混杂了建模不准确的低频词，完全随机采样生成的文本可读性和通顺程度较差，并在生成过程中造成严重的文本退化。

2.温度采样：温度采样生成方法是通过温度参数来重新塑造概率分布后进行采样。给定求概率分布Softmax函数前的逻辑值和和温度参数t，在温度参数t的控制下，Softmax函数会将字符的概率进行重新估计。温度采样利用指数函数的非线性缩放功能使得概率分布向高概率字符倾斜，降低了概率分布中低概率词被采样算法捕获的可能性。实验分析表明，虽然降低温度参数t的值可以提高生成质量，但它同样会减少多样性，因此，通常在其他采样算法之前利用温度采样方法来重新塑造概率分布，以部分缓解随机采样算法中的文本退化问题。

3.Top-k采样：作为一种流行的随机采样算法，可以将Top-k采样定义为在每个时间步骤中，根据概率分布中的相对概率，从前k大个可能的概率分布内的字符中进行采样。TopK采样算法实现直白简单，虽然TopK采样比在完整的概率分布中进行随机采样生成的文本质量要高得多，然而在不同的语境需要使用不同大小的K，而动态的选择合适的K是一个困难的问题。

4.核采样：核采样算法的主要思想是利用概率分布的形状来确定要需要采样的字符集，从而解决了TopK采样中的问题。核采样中的方法只选择概率最高的字符，其采样集的大小根据每个时间步生成的概率分布动态调整。其采样的部分是概率分布中概率最高的部分。

无论是温度采样更改概率分布，还是TopK采样和核采样选择特定目标的字符进行采样，目标是一致的，即提高“高概率词”的影响，并降低“低概率词”的影响。这种高概率选择倾向和采样过程中的随机性会导致文本生成质量的持续性下降。

现有的开放性文本生成算法主要利用按照语言模型生成概率分布中字符的概率大小进行采样，生成的文本面临着长文本退化，逻辑一致性差，事实不一致等问题，且不能通过调整这些算法本身的参数来进行修正。因此期望在生成过程中的解码步骤因此更多控制信息来提高文本生成的质量。

发明内容