[发明专利]一种基于语义的智能推理方法及系统

权利要求书

1.一种基于语义的智能推理方法，其特征在于，所述方法包括：

采集自然类语料和金融类语料；

将所述自然类语料和所述金融类语料一并送入初始Bert预训练模型，得到自然类语义编码向量和金融类语义编码向量；

遍历计算所述自然类语义编码向量和所述金融类语义编码向量的语义相似度，并将高于相似度阈值的自然类语料迁移至所述金融类语料，形成迁移后的训练数据集；

将迁移后的训练数据集输入所述初始Bert预训练模型，并施加前馈神经网络进行有监督学习，得到目标Bert预训练模型；其中，所述目标Bert预训练模型用于对待推理金融类语料进行语义推理。

2.如权利要求1所述的方法，其特征在于，所述将所述自然类语料和所述金融类语料一并送入初始Bert预训练模型，得到自然类语义编码向量和金融类语义编码向量，具体包括：

将所述自然类语料和所述金融类语料一并送入初始Bert预训练模型，得到所述自然类语义编码向对应的第一编码矩阵和金融类语义编码向量对应的第二编码矩阵；其中，

所述第一编码矩阵的每一行向量为每句自然类语料的语义表示向量，列向量表示自然类语料的向量维度；所述第二编码矩阵的每一行向量为每句金融类语料的语义表示向量，列向量表示金融类语料的向量维度。

3.如权利要求2所述的方法，其特征在于，所述将高于相似度阈值的自然类语料迁移至所述金融类语料，形成迁移后的训练数据集，具体包括：

将高于相似度阈值的自然类语料迁移至所述金融类语料对应的语料类矩阵中逐行排列，形成所述训练数据集。

4.如权利要求1所述的方法，其特征在于，所述将迁移后的训练数据集输入所述初始Bert预训练模型，并施加前馈神经网络进行有监督学习，得到目标Bert预训练模型，具体包括：

将迁移后的训练数据集输入所述初始Bert预训练模型，得到对应的微调语义编码向量；

将所述微调语义编码向量输入到前馈神经网络，得到预测值；

将所述预测值和所述训练数据集的原始标签一并送入交叉熵损失函数中计算损失，并反向传播回所述初始Bert预训练模型进行梯度更新，得到所述目标Bert预训练模型。

5.如权利要求4所述的方法，其特征在于，将所述微调语义编码向量输入到前馈神经网络，得到预测值，具体包括：

将所述微调语义编码向量输入到所述前馈神经网络的非线性激活函数逐层进行递推，得到所述预测值；其中，非线性激活函数表示第j+1层前馈神经网络和第j层前馈神经网络的递推关系，j表示前馈神经网络的层数，1≤j≤k,k表示前馈神经网络的总层数；表示在第j层中的第h行语义编码向量，表示在第j层中的第h行语义编码向量中的第i维编码特征，表示在第j+1层中的第h行语义编码向量，h表示任意行数，i表示向量维度，i∈n，n表示向量维度总数，w_i表示权重，b_j表示第j层的系数。

6.如权利要求1所述的方法，其特征在于，所述得到目标Bert预训练模型之后，所述方法还包括：

获得所述待推理金融类语料；

将所述待推理金融类语料和将推理备选项语料集一并输入所述目标Bert预训练模型，得到所述待推理金融类语料对应的待推理语义编码向量和所述推理备选项语料集对应的语义编码向量组；

遍历计算所述待推理语义编码向量与所述语义编码向量组中每个向量的语义相似度；

从所述语义编码向量组中确定出语义相似度高于预设阈值的目标编码向量；

将所述目标编码向量所属语料作为所述待推理金融类语料对应的推理语料。

7.如权利要求6所述的方法，其特征在于，所述从所述语义编码向量组中确定出语义相似度高于预设阈值的目标编码向量，具体包括：

从所述语义编码向量组中确定出相似度最高的编码向量作为所述目标编码向量；或者

从语义相似度高于预设阈值的语义编码向量中确定任一一个语义编码向量作为所述目标编码向量。