[发明专利]基于GPT网络模型的短文本现代文转古文的迁移方法

权利要求书

1.基于GPT网络模型的短文本现代文转古文的迁移方法，其特征在于：包括有如下步骤：

S1.构造古文-现代文训练数据集：将所有朝代的古文和对应现代文用tab键分开，设定古文和现代文的文本最大长度都为30，对数据进行删除过滤操作，即过滤掉古文和现代文中长度大于30的文本，合并在一个文件train.txt中，得到现代文和古文平行训练数据集；

S2.建立词表：将步骤S1中得到的现代文和古文平行训练数据集中的所有字符去重后，建立词表序列，记为Dict，Dict的前项key为字符索引编号，Dict的后项value为具体的单个字符，即Dict={0:‘[CLS]’,1:“[PAD]”,2:“[SEP]“，3：“国”.......}，其中[CLS]为文本起始符，[PAD]代表当文本长度不够最大长度时，采用[PAD]填充到max_len长度，[SEP]为现代文到古文的分割符，max_len为步骤S1中所提及的每条文本数据最大长度；

S3.数据和模型适配：设现代文和古文平行训练数据集中的某条文本样本中现代文为：“为什么会出现在这儿”，对应的古文为：“何以见于此”，则该条文本X先转化为[“[CLS]”，“为”，“什”，“么”，“会”，“出”，“现”，“在”，“这”，“儿”,“[SEP]”，“何”，“以”，“见”，“于”，“此”]记为列表A，文本不够最大长度60，则将列表A通过[PAD]填充到该文本最大长度60，然后通过字典Dict，映射成索引编号列表，进而变成张量，喂入GPT模型，将现代文和古文平行训练数据集中的所有文本执行同样的操作，得到整个训练数据集，作为模型输入；

S4.构建GPT网络模型结构：其具体操作如下：模型约定文本长度为60，嵌入维度为256，针对每条文本，先经过token_embedding+postional_embedding将文本进行嵌入表示，此时文本表示矩阵形状为[60，256]，将该文本嵌入输入到GPT网络模型，多头注意力机制Multi_Head_Attention+前馈全连接神经网络Feed_forward作为一个单元，重复6次，即6层相同的网络，得到整体网络模型结构；

S5.训练模型：根据步骤S4中已设定好的模型结构，加入模型优化器和损失函数进行模型训练，具体训练过程为：将步骤S1、步骤S2和步骤S3得到的模型输入，喂入步骤S4中得到的整体网络模型结构，模型最终目标即最小化损失函数，先根据网络结构进行前向传播，根据预测输出与真是输出计算损失，然后进行反向传播，通过Adam优化器不断更新网络模型参数，以此往复运行，直到损失函数值降低到最小趋于稳定，将此时的参数矩阵进行保存，即可得到最优网络模型；

S6.模型预测：假如用户输入的文本内容为“为什么会出现在这儿”，则将其变成序列[“[CLS]”，“为”，“什”，“么”，“会”，“出”，“现”，“在”，“这”，“儿”,“[SEP]”]记为List_input，其长度为len_List，然后通过‘[PAD]’填充到最大长度60，再通过字典变成数字张量，将其作为输入，使用步骤S5中得到的最优网络模型，进入步骤S4中的网络结构，进行前向传播，得到logits值，再使用softmax计算模型输出的第len_List个位置概率最大值对应的字符，即此时模型预测下一个字为“何”，然后把“何”和输入拼接为[“[CLS]”，“为”，“什”，“么”，“会”，“出”，“现”，“在”，“这”，“儿”,“[SEP]”，“何”]，然后再次通过‘[PAD]’填充到最大长度max_len，再通过字典变成数字张量，将其作为输入喂入模型，此时计算模型输出的第len_List+1个位置概率最大值对应的字符；如此反复操作依次输出对应的古文，最后将所有预测的[SEP]后的字符拼接在一起，作为文本风格转换的最终输出结果。

2.根据权利要求1所述的基于GPT网络模型的短文本现代文转古文的迁移方法，其特征在于：训练数据集中每条训练样本中的现代文最大长度不超过30字，古文最大长度不超过30字，模型最大长度为60。