[发明专利]一种基于切线单折线法的信赖域求解逻辑回归分析的方法

说明书

本发明的一种基于切线单折线法的信赖域求解逻辑回归分析的方法，包括步骤S1：利用线性回归的拟合函数和Logistic函数构造预测拟合函数；步骤S2：由最大似然估计推导得到代价函数后，得到逻辑回归分析的求解目标；步骤S3：构造信赖域模型子问题；步骤S4：使用切线单折线法求解信赖域模型子问题，得到最优数值解。与现有技术相比，本发明提供的一种基于切线单折线法的信赖域求解逻辑回归分析的方法，相对于常用的经典的梯度下降法，具有更快速的局部收敛性、更理想的总体收敛性，且由于利用了二次模型来求修正量，使得目标函数的下降比线性搜索方法更有效。其次，结合了比传统解决信赖域子问题的Dogleg方法的改进算法：切线单折线法，进一步提升了运算效率。

技术领域

本发明涉及回归分析领域，具体涉及一种基于切线单折线法的信赖域求解逻辑回归分析的方法。

背景技术

逻辑回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。逻辑回归主要在流行病学中应用较多，比较常用的情形是探索某疾病的危险因素，根据危险因素预测某疾病发生的概率等。

逻辑回归分析的通常做法是先构造出一个代价函数，然后对其求解，找到最优解。如果这个函数存在解析解，那么求导就可以得出结果了，然而事实上大多数情况是该函数很难求导或者得不到解析解，此时就需要用到最优化方法了。以往人们都会偏向选择梯度下降法，这是一种古老简单的方法，但是缺点是收敛慢、效率不高、有时候达不到最优解。

鉴于上述缺陷，本发明创作者经过长时间的研究和实践终于获得了本发明。

发明内容

为解决上述技术缺陷，本发明采用的技术方案在于，提供了一种基于切线单折线法的信赖域求解逻辑回归分析的方法，该方法包括以下步骤：

步骤S1：利用线性回归的拟合函数和Logistic函数构造预测拟合函数；

表示n维的模型参数，即回归系数，

Logistic函数为：

由公式(1)和(2)得到的预测拟合函数为：

步骤S2：由最大似然估计推导得到代价函数后，得到逻辑回归分析的求解目标；

其中，代价函数为：

逻辑回归分析的求解目标为：

步骤S3：构造信赖域模型子问题；

在θ_k的Δ_k邻域内，由泰勒展开得到近似函数从而得出解信赖域模型子问题；

其中δ＝θ-θ_k，J_k＝J(θ_k)，g_k＝▽J(θ_k)，G_k是Hessian矩阵▽²J(θ_k)或其近似，Δ_k＞0为信赖域半径；

步骤S4：使用切线单折线法求解信赖域模型子问题，得到最优数值解；

记其最优解为d_k，ΔJ_k:＝J_k-J(θ_k+d_k)为J在第k步中的实际下降量，对应的预测下降量为Δq_k:＝q_k(0)-q_k(d_k)；

定义比值为