[发明专利]融入分类词典的汉越神经机器翻译集外词处理方法

摘要

本发明涉及融入分类词典的汉越神经机器翻译集外词处理方法，属于自然语言处理技术领域。本发明对集外词进行了分类，并且发现不同类别的集外词可以采用不同的方法处理，然后有针对性的构建出分类词典，其中双语词典用以解决词表外稀有词的翻译问题，实体词典用以解决实体词翻译不准确的问题，规则词典用以解决数字、符号、时间和日期等词的翻译问题，然后在模型的前处理阶段通过查询分类词典进行集外词识别后，在模型的编码端对集外词进行标签替换，经过模型翻译后得到带有标签的翻译结果，再通过查询分类词典对标签进行翻译恢复。本发明通过将分类词典融入神经机器翻译，能更加准确的对集外词进行翻译，从而提升神经机器翻译系统的性能和效果。

主权项

1.融入分类词典的汉越神经机器翻译集外词处理方法，其特征在于：所述融入分类词典的汉越神经机器翻译集外词处理方法的具体步骤如下：/nStep1、语料收集：收集汉语-越南语语料，并分为训练集、测试集和验证集；/nStep2、分类词典的构建：分析集外词的特点，将集外词分为三类，包括稀有词、实体词、以及数字、符号、日期和时间，并有针对性的构建出分类词典，分类词典包括双语词典、实体词典和规则词典；/nStep3、分类词典的融入：通过查找分类词典对数据中的集外词进行识别，在模型的编码端对三类集外词进行标签替换，然后将标签替换后的数据通过模型翻译成带有标签的目标语言，最后查阅分类词典将标签恢复；/nStep4、同类集外词处理：当一句话中出现多个同类集外词时，对同类标签采用标记排序进行定位标识；/nStep5、模型训练及翻译：在步骤Step1、Step2、Step3、Step4的基础上，对融入了分类词典的神经机器翻译模型进行训练，然后把待翻译的数据通过训练好的模型进行翻译，得到最终的翻译结果。/n