[发明专利]一种多核学习新算法

说明书

一、技术领域

本发明属于智能控制与建模领域，涉及多核学习(Multiple Kernel Learning，MKL)、最优化算法等方法。

二、背景技术

多核学习(MKL)通常可以转化为半定规划问题来求解。对于一些规模较小的数据集，MKL不会遇到太大的障碍。但对于一些大规模问题，由于涉及到多核矩阵的快速求解、高维多核矩阵的分解等，半定规划求解算法效率非常低。Bregman在设计、分析可行性和优化问题的算法的过程中，通过使用Bregman距离函数，首创了优美而有效的Bregman优化方法。Bregman优化方法是当前算法理论中重要的研究课题。

三、专利内容：

1、专利目的

发明一种基于Bregman距离的非稀疏多核学习方法，这种方法既能提高多核学习的精度，有能提高多核学习的速度。

2、技术解决方案

本发明提出弹性MKL框架，求解的基本思路是，首先把其优化问题转化为一个凸优化问题，并采用Mirro-Descent(MD)方法来求解。

四、具体实施方式

Mirro-Descent(MD)方法类似于最速下降算法，但是关键之处是，在辅助优化问题的每一步迭代中，利用Bregman距离函数，取代欧几里德(Euclidean)距离函数。Bregman距离函数利用单纯形的几何性质，导致MD方法在单纯形直积(Product of Simplices)上进行优化，因此，相比简单多核(SimpleMKL)等方法，具有非常高的运算效率。因此，对于弹性多核学习的算法研究，关键是构造能作为Bregman距离的具体函数。

利用MD方法的关键之处是构造Bregman距离函数。考虑如下的最优化问题：

minf(x)   x∈X          (1)

其中X∈Rⁿ是具有非空内点的凸闭集，目标函数f：X→R具有Lipschitz连续性，即满足|f(x)-f(y)|≤L||x-y||。f对于给定的任意x∈X存在能够计算f(x)和f′(x)的预报。这个优化问题，经典的次梯度投影算法(SPA)采用迭代的方式求解：

x^t+1＝π_X(x^t+1-s_tf(x^t))           (2)

其中s_t是步长，是x在X上的投影。这个迭代公式经过变形可以等价地表示为

xt+1=arg minx∈X{<x,stf′(xt)>+||x-xt||222}---(3)]]>

MD方法的主要思想是，把欧几里德距离范数用更一般的距离函数D(x，x^t)来代替。替代之后迭代公式变为