[发明专利]单语句自然语言处理方法、装置、计算机设备及可读存储介质

说明书

本申请实施例提供了一种基于Bert的单语句自然语言处理方法、装置、计算机设备及计算机可读存储介质。本申请实施例属于人工智能技术领域，将目标单语句输入预设的目标Bert模型以对目标单语句进行预处理，目标Bert模型为通过将Bert模型中所包含的语句分割嵌入输入层替换为预设外部信息编码输入层而构建，以得到目标单语句所对应的目标向量，目标向量中包含通过预设外部信息编码输入层而得到的目标单语句所包含的外部信息编码，再通过预设自然语言处理模型对目标向量进行语音语义处理，以得到目标单语句所对应的语音语义处理结果，从而实现借助外部信息编码以增强自然语言处理模型的处理效果。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于Bert的单语句自然语言处理方法、装置、计算机设备及计算机可读存储介质。

背景技术

BERT的英文全称为Bidirectional Encoder Representation fromTransformers，是一个预训练的语言表征模型，是对原始自然语言语料进行初步处理，初步进行特征提取，从而能够生成语言表征，以便各种各样的下游自然语言任务采用该语言表征进行自然语言处理。

BERT预训练语言模型的输入层由词嵌入、位置嵌入及语句分割嵌入三种输入层叠加而成。词嵌入输入层代表单词的表示向量，位置嵌入输入层代表语句中每个词的位置信息，语句分割嵌入输入层代表了对不同语句的区分。BERT通过叠加输入层的形式，结合遮蔽词预测任务和下一句语句预测任务，训练得到了一个在多种下游任务上通用的预训练模型。

但是，针对单语句的下游任务，无法通过BERT既定输入方式将单语句中的一些有用信息输入至下游任务模型，降低了下游自然语言任务处理的准确性。

发明内容

本申请实施例提供了一种基于Bert的单语句自然语言处理方法、装置、计算机设备及计算机可读存储介质，能够解决传统技术中由于BERT既定输入方式导致下游自然语言任务处理的准确性较低的问题。

第一方面，本申请实施例提供了一种基于Bert的单语句自然语言处理方法，所述方法包括：将目标单语句输入预设的目标Bert模型，所述目标Bert模型为通过将Bert模型中所包含的语句分割嵌入输入层替换为预设外部信息编码输入层而构建，其中，所述外部信息编码输入层为实现提取所述目标单语句中所包含的预设的外部信息而预设的输入层，所述外部信息为所述目标单语句中对所对应自然语言处理任务起作用的预设信息，所述目标单语句为所述自然语言处理任务为获得语音语义结果而对所述目标单语句进行语音语义处理的目标对象，所述预设信息包括分词依存关系及词性标注信息；根据所述预设的目标Bert模型对所述目标单语句进行预处理，得到所述目标单语句所对应的目标向量，所述目标向量中包含所述目标单语句通过所述预设外部信息编码输入层而得到的对应外部信息编码，其中，所述外部信息编码为分词依存关系编码或者词性标注信息编码；将所述目标向量输入至预设自然语言处理模型；根据所述预设自然语言处理模型对所述目标向量进行语音语义处理，得到所述单语句所对应的语音语义处理结果。