[发明专利]一种基于神经网络结构搜索的机器翻译译文质量评估方法

权利要求书

1.一种基于神经网络结构搜索的机器翻译译文质量评估方法，其特征在于包括以下步骤：

1)获取WMT质量评估任务的训练数据和WMT机器翻译任务中的训练数据；

2)确定将要实施网络结构搜索技术的部分为预测器-评估器模型中的预测器组件，根据组件结构和功能特性确定搜索空间，同时确定将使用基于进化算法的搜索策略进行预搜索；

3)搭建经典的预测器-评估器模型，其中评估器部分的结构直接使用传统模型中的双向GRU模型，预测器部分则根据搜索空间和搜索策略进行搭建，实行基于进化算法的搜索策略的最初使用Transformer神经机器翻译模型来热启动初始化种群；

4)将神经机器翻译作为目标任务，机器翻译双语数据作为训练数据，使用基于进化算法的搜索策略对预测器部分的网络结构进行预搜索；

5)利用WMT质量评估任务的数据对预测器部分的网络结构进行微调；

6)使用机器翻译双语训练数据对搜索到的预测器进行训练调优，收敛后继续使用WMT质量评估任务的数据对预测器-评估器整体模型进行训练调优，直到收敛；

7)使用训练收敛后的完整模型进行质量评估的单词级任务，并使用其在测试集上的准确度表征模型性能。

2.按权利要求1所述的基于神经网络结构搜索的机器翻译译文质量评估方法，其特征在于：步骤2)中选择Transformer模型附近的结构空间作为搜索空间，在NASNet搜索空间的基础上进行修改，该搜索空间由两组相同的、可堆叠的计算单元组成，分别代表编码器和解码器，不同部分的计算单元由不同数量的NASNet样式的块级联而来，而每个块中都包括左、右两个分支，分别接收两个隐藏状态输入并产生新的隐藏状态组合后作为块的输出；结构搜索过程中实际需要对左右两个分支的操作组合进行搜索，包括输入、归一化、层结构、输出维度、激活函数、组合函数和计算单元数量；同时确定使用基于进化算法的搜索策略在搜索空间中搜索预测器的网络结构，即将所有候选结构看作生物界的一个种群，每个候选结构都是该种群中的一个个体，种群进化过程中的“优胜劣汰”即为挑选候选结构的过程，而个体的“优劣”以其适应度来衡量。

3.按权利要求1所述的基于神经网络结构搜索的机器翻译译文质量评估方法，其特征在于：步骤3)中搭建预测器-评估器模型，使用网络结构搜索技术对预测器的内部结构进行搜索，保持评估器部分的内部结构为经典的双向循环神经网络，具体为双向GRU网络；在对预测器结构的搜索过程中，最初利用Transformer神经机器翻译模型热启动初始化一个种群，在此基础上找到比现存的Transformer模型更加优秀的预测器结构。