[发明专利]一种低资源语言问答语料库生成方法

权利要求书

1.一种低资源语言问答语料库生成方法，采用生成对抗网络生成问答语料库；其特征在于，包括以下步骤：

通过最大似然估计对随机产生的样本数据进行初始化；

然后送入准循环神经网络的生成器中产生问题，同时优化强化学习中蒙特卡洛搜索加速模型迭代速度，最后使用语言模型对产生的问题进行语法优化；

所述最大似然估计对产生的随机样本数据进行初始化步骤，包括：定义初始化序列为T＝(t₁,t₂,L,t_n)，通过训练得到初始化数据模型参数θ，即：

所述生成器使用准循环神经网络模型单元，即

h_t＝QRNN(h_t-1,x_t)

p(y_t|x₁,x₂,L,x_t)＝z(h_t)

h_t是QRNN网络在t时刻的中间输出隐层向量，而z(h_t)是一个softmax函数，它是根据已经生成的序列来预测下一个单词，x_t代表时刻t的输入；

采用判别器给予生成样本xⁱ，并且将其反馈给生成器作为奖励R_θ，判别器对各个生成样本打出的概率得分上减去一个惩罚基准值b，则奖励R_θ的梯度公式如下：

所述蒙特卡洛搜索优化算法对于获得的部分序列进行下一个字符或者序列的预测，假设在t时刻已经拥有了生成句子的前缀序列xⁱ[1:t]，利用当前的生成器参数，强制固定这个前缀，并重复生成出可能的M个完整的后续序列然后分别交给判别器进行打分，这M个模拟样本的平均奖励得分即为部分序列xⁱ[1:t]的奖励估计值D_e(aⁱ,xⁱ[1:t])，；

其中，aⁱ代表第i个生成文本序列的得分，xⁱ[1:t]代表第i个文本从时间1到t已经产生的序列。

2.根据权利要求1所述的方法，其特征在于，通过数据库中已统计字符随机产生一定量的样本数据，同时为了缩小产生的样本数据和真实数据的概率分布差异，使用最大似然估计对产生的随机样本数据进行初始化，然后再送入准循环神经网络的生成器中。

3.根据权利要求1所述的方法，其特征在于，通过优化蒙特卡洛搜索算法训练一个可以对部分已生成前缀进行打分的判别器，加速强化学习搜索效率；判别器采用长短期记忆网络结构，为了使得生成的样本数据更加逼近真实样本的数据分布，利用强化学习对生成器和判别器分别进行参数调优；为了对文本序列进行策略优化，通过在判别器对各个生成样本打出的概率得分上减去一个惩罚基准值来优化搜索空间，进而优化整个搜索策略。

4.根据权利要求1所述的方法，其特征在于，使用BERT模型对问题进行修正和优化。

5.根据权利要求1所述的方法，其特征在于，直接训练一个可以对部分已生成前缀进行打分的新判别器，将真实样本X⁺的全部前缀子序列集合记作其中上标T_x+表示取自句子长度为T的真实样本X⁺，同样将生成样本X^-的全部前缀子序列集合记作其中上标T_x-表示取自句子长度为T的生成器样本X^-，从真实样本X⁺的全部前缀子序列集合中挑选一个或若干个子序列并根据来源标定为+，从生成样本X^-的全部前缀子序列集合中挑选一个或若干个子序列并根据来源标定为-，通过这种方式反复训练的判别器便增加了给前缀子序列打分的能力，直接使用这样的判别器D给前缀子序列打分可获得D_e(aⁱ,xⁱ[1:t])的计算方法。

6.根据权利要求1所述的方法，其特征在于，使用BERT模型对产生的问题进行修正和优化，其中包括两个部分：随机掩码和下一句话预测；

随机掩码：针对文本表示较长的问题，采用20％的概率将一些词使用特殊符号“*”代替；

下一句话预测：按照50％的比例从生成的虚拟问答对中选择，另外按照50％的数量随机选择，从中筛选出正确对应的问答对。