[发明专利]一种基于语义的智能推理方法及系统

说明书

本发明公开了一种基于语义的智能推理方法及系统，所述方法包括：采集自然类语料和金融类语料；将所述自然类语料和所述金融类语料一并送入初始Bert预训练模型，得到自然类语义编码向量和金融类语义编码向量；遍历计算所述自然类语义编码向量和所述金融类语义编码向量的语义相似度，并将高于相似度阈值的自然类语料迁移至所述金融类语料，形成迁移后的训练数据集；将迁移后的训练数据集输入所述初始Bert预训练模型，并施加前馈神经网络进行有监督学习，得到目标Bert预训练模型；其中，所述目标Bert预训练模型用于对待推理金融类语料进行语义推理。

技术领域

本申请涉及智能金融领域，尤其涉及一种基于语义的智能推理方法及系统。

背景技术

金融领域数据一般具有小样本、实时性、动态性的特性。因此，通常采用基于图神经网络的推理方式或基于Bert预训练模型的推理方式来处理金融领域的语义推理工作。但是，基于图神经网络的推理方式需要构建较复杂的图数据库，计算开销大，而且不满足金融领域数据在实时性和动态性方面的需求。基于Bert预训练模型的推理方式虽然不需要太大计算开销且满足实时性和动态性需求，但是训练Bert模型的语料是一般的自然语言，因此在处理金融领域数据的下游任务时，其泛化能力和鲁棒性有待进一步提升。

因此，以上两种主流推理技术的缺点限制了深度学习在推理任务中对语料信息的有效利用，影响模型的准确性及工作效率。

近年来，由于人工智能推动了技术与金融科技的相互融合、相互渗透，开启了商业变革和金融创新，因此，推理也已经成为人工智能中的一个重要的研究方向。目前来说，传统支持语义的智能推理技术依托于机器学习算法，通过专家定义规则或者SVM(二元线性分类器)来实现基于语义的推理技术，这种方法可以对小样本、一般的自然语言范围实现推理功能。但是，受限于传统语义推理技术在金融领域的鲁棒性较差，泛化能力有限，因此仍旧不能较好处理应用金融领域数据。

因此，现有技术存在的问题是：不能准确推理出金融领域语料的实际含义。

发明内容

本发明提供了一种基于语义的智能推理方法及系统，利用迁移学习的方式，从一般的自然类语料中获得与金融类语料相似的训练数据集，对金融类语料的训练数据集进行扩充，并利用扩充后的训练数据集微调Bert预训练模型，以提高Bert预训练模型在面向金融领域信托行业时的泛化能力，在语料稀少的情况下完成推理任务，从而解决或者部分解决现有技术不能准确推理出金融领域语料的实际含义的技术问题。

为解决上述技术问题，本发明的第一方面，公开了一种基于语义的智能推理方法，所述方法包括：

采集自然类语料和金融类语料；

将所述自然类语料和所述金融类语料一并送入初始Bert预训练模型，得到自然类语义编码向量和金融类语义编码向量；

遍历计算所述自然类语义编码向量和所述金融类语义编码向量的语义相似度，并将高于相似度阈值的自然类语料迁移至所述金融类语料，形成迁移后的训练数据集；

将迁移后的训练数据集输入所述初始Bert预训练模型，并施加前馈神经网络进行有监督学习，得到目标Bert预训练模型；其中，所述目标Bert预训练模型用于对待推理金融类语料进行语义推理。

优选的，所述将所述自然类语料和所述金融类语料一并送入初始Bert预训练模型，得到自然类语义编码向量和金融类语义编码向量，具体包括：

将所述自然类语料和所述金融类语料一并送入初始Bert预训练模型，得到所述自然类语义编码向对应的第一编码矩阵和金融类语义编码向量对应的第二编码矩阵；其中，

所述第一编码矩阵的每一行向量为每句自然类语料的语义表示向量，列向量表示自然类语料的向量维度；所述第二编码矩阵的每一行向量为每句金融类语料的语义表示向量，列向量表示金融类语料的向量维度。