[发明专利]基于GPT网络模型的短文本现代文转古文的迁移方法

说明书

本发明涉及自然语言处理技术领域，具体为基于GPT网络模型的短文本现代文转古文的迁移方法，包括步骤有构造现代文‑古文训练数据集；建立词表；数据和模型适配；构建GPT网络模型结构；训练模型；模型预测，最终输出结果；本发明使用GPT网络模型实现了现代文转古文，只需将现代文和古文通过分隔符[SEP]拼接输入模型，进行模型训练即可完成，而GPT网络模型只是Transoformer的解码器部分，比Transformer实现更简单，相比传统的通过词典或者语法分析的文本风格迁移方法，不需要投入额外的管理成本。

技术领域

本发明涉及自然语言处理技术领域，具体为基于GPT网络模型的短文本现代文转古文的迁移方法。

背景技术

中华文化博大精深，能够了解并熟悉古文，可以有效的传承中华文化，提高民族的认同感，但是现有技术的古文转现代文方法大多需要专业人员利用专业的字典进行转换，工作难度大，工作效率低，普通大众在需要进行古文转现代文存在一定的难度，现有技术的转换迁移过程非常繁琐，不利于普通大众掌握，不利于公众对古文的理解和熟悉。

本发明基于GPT网络模型完成现代文转古文的文本风格迁移方法，充分利用GPT网络模型的简单、端到端文本生成的特点，通过有监督的现代文、古文语料对，将一段短文本现代文内容转换为短文本古文。

发明内容

为解决上述技术问题，实现本发明技术效果，本发明提供一种基于GPT网络模型的短文本现代文转古文的迁移方法，包括有如下步骤：

S1.构造古文-现代文训练数据集：将所有朝代的古文和对应现代文用tab键分开，设定古文和现代文的文本最大长度都为30，对数据进行删除过滤操作，即过滤掉古文和现代文中长度大于30的文本，合并在一个文件train.txt中，得到现代文和古文平行训练数据集；

S2.建立词表：将步骤S1中得到的现代文和古文平行训练数据集中的所有字符去重后，建立词表序列，记为Dict，Dict的前项key为字符索引编号，Dict的后项value为具体的单个字符，即Dict={0:‘[CLS]’,1:“[PAD]”,2:“[SEP]“，3：“国”.......}，其中[CLS]为文本起始符，[PAD]代表当文本长度不够最大长度时，采用[PAD]填充到max_len长度，[SEP]为现代文到古文的分割符，max_len为步骤S1中所提及的每条文本数据最大长度；

S3.数据和模型适配：设现代文和古文平行训练数据集中的某条文本样本中现代文为：“为什么会出现在这儿”，对应的古文为：“何以见于此”，则该条文本X先转化为[“[CLS]”，“为”，“什”，“么”，“会”，“出”，“现”，“在”，“这”，“儿”,“[SEP]”，“何”，“以”，“见”，“于”，“此”]记为列表A，文本不够最大长度60，则将列表A通过[PAD]填充到该文本最大长度60，然后通过字典Dict，映射成索引编号列表，进而变成张量，喂入GPT模型，将现代文和古文平行训练数据集中的所有文本执行同样的操作，得到整个训练数据集，作为模型输入；

S4.构建GPT网络模型结构：其具体操作如下：模型约定文本长度为60，嵌入维度为256，针对每条文本，先经过token_embedding+postional_embedding将文本进行嵌入表示，此时文本表示矩阵形状为[60，256]，将该文本嵌入输入到GPT网络模型，多头注意力机制Multi_Head_Attention+前馈全连接神经网络Feed_forward作为一个单元，重复6次，即6层相同的网络，得到整体网络模型结构；

S5.训练模型：根据步骤S4中已设定好的模型结构，加入模型优化器和损失函数进行模型训练，具体训练过程为：将步骤S1、步骤S2和步骤S3得到的模型输入，喂入步骤S4中得到的整体网络模型结构，模型最终目标即最小化损失函数，先根据网络结构进行前向传播，根据预测输出与真是输出计算损失，然后进行反向传播，通过Adam优化器不断更新网络模型参数，以此往复运行，直到损失函数值降低到最小趋于稳定，将此时的参数矩阵进行保存，即可得到最优网络模型；