[发明专利]基于局部线性化的复杂机器学习模型解释方法及装置

说明书

技术领域

本发明涉及机器学习应用与分析技术领域，特别涉及一种基于局部线性化的复杂机器学习模型解释方法及装置。

背景技术

机器学习领域开创之初，研究者们就开始探讨机器学习算法的解释(Interpretability/Comprehensibility)问题。这里所谓的“解释”，是机器学习领域的含义，旨在提供输入变量与模型输出之间的定量关系(qualitative understanding)。研究者普遍认为，模型的精度、复杂程度与可解释性成相反的关系，即简单模型的可解释性强，但是精度较低；而复杂模型可以获得较高的计算精度，但是难以直观解释。

目前，研究者更倾向于先使用复杂模型得出精度较高的模型，然后利用简单模型对得到的高精度模型进行解释，即使用简单模型去拟合复杂模型的输出值。相关技术中训练决策树模型作为神经网络模型的解释，树模型复杂度被用于表示该解释模型的可解释能力。相关技术中通过有效区间分析(Validity-Interval Analysis)来对神经网络模型进行解释，与决策树模型的基本原理一致。相关技术中试使用一阶逻辑表达(First-order Logic Formulate)和贝叶斯网络(Bayesian Network)等两种算法来解释矩阵分解算法。总结来看，相关技术中的解释方法在全体输入空间中利用如线性模型、决策树模型等简单模型来解释复杂模型，但是无法考虑输入空间局部的特点，是相关技术中解释方法最大的问题，有待改进。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于局部线性化的复杂机器学习模型解释方法，该方法不但可以有效寻找样本空间不同区域的主导特征，而且更加直观、便捷，可适用于多种机器学习模型的解释。

本发明的另一个目的在于提出一种基于局部线性化的复杂机器学习模型解释装置。

为达到上述目的，本发明一方面实施例提出了一种基于局部线性化的复杂机器学习模型解释方法，包括：采集样本集中任意一点作为样本点，并在所述样本点周围随机采样得到多个采样点，且根据原机器学习模型得到所述多个采样点的每个采样点的机器学习模型预测结果；在表达空间中，获取所述样本点与所述每个采样点间的欧拉距离，以作为所述每个采样点的权重；根据所述每个采样点的权重和线性模型得到待解释的机器学习模型和解释函数的拟合结果的差距，并得到所述解释函数的复杂度，以获取寻优问题；优化求解所述寻优问题中使用正则化项惩罚因子的线性回归问题，并得到解释结果。

本发明实施例的基于局部线性化的复杂机器学习模型解释方法，可以在每个数据点的邻域内对复杂机器学习模型进行解释，充分考虑样本空间的局部特性，不但可以有效寻找样本空间不同区域的主导特征，而且更加直观、便捷，可适用于多种机器学习模型的解释。

另外，根据本发明上述实施例的基于局部线性化的复杂机器学习模型解释方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述每个采样点的权重为：

其中，x_i为所述样本点，为所述多个采样点，σ为所有距离的标准差。

进一步地，在本发明的一个实施例中，所述拟合结果的差距为：

其中，f为所述待解释的机器学习模型，g为所述解释函数，Γ为所述拟合结果的差距；所述解释函数的复杂度为：

其中，Ω为所述复杂度。

进一步地，在本发明的一个实施例中，所述寻优问题为：

可选地，在本发明的一个实施例中，通过SGD(Saccharomyces Genome Database，随机梯度下降)算法求解所述线性回归问题。

为达到上述目的，本发明另一方面实施例提出了一种基于局部线性化的复杂机器学习模型解释装置，包括：采集模块，用于采集样本集中任意一点作为样本点，并在所述样本点周围随机采样得到多个采样点，且根据原机器学习模型得到所述多个采样点的每个采样点的机器学习模型预测结果；第一获取模块，用于在表达空间中，获取所述样本点与所述每个采样点间的欧拉距离，以作为所述每个采样点的权重；第二获取模块，用于根据所述每个采样点的权重和线性模型得到待解释的机器学习模型和解释函数的拟合结果的差距，并得到所述解释函数的复杂度，以获取寻优问题；解释模块，用于优化求解所述寻优问题中使用正则化项惩罚因子的线性回归问题，并得到解释结果。