[发明专利]一种基于切线单折线法的信赖域求解逻辑回归分析的方法

摘要

本发明的一种基于切线单折线法的信赖域求解逻辑回归分析的方法，包括步骤S1：利用线性回归的拟合函数和Logistic函数构造预测拟合函数；步骤S2：由最大似然估计推导得到代价函数后，得到逻辑回归分析的求解目标；步骤S3：构造信赖域模型子问题；步骤S4：使用切线单折线法求解信赖域模型子问题，得到最优数值解。与现有技术相比，本发明提供的一种基于切线单折线法的信赖域求解逻辑回归分析的方法，相对于常用的经典的梯度下降法，具有更快速的局部收敛性、更理想的总体收敛性，且由于利用了二次模型来求修正量，使得目标函数的下降比线性搜索方法更有效。其次，结合了比传统解决信赖域子问题的Dogleg方法的改进算法：切线单折线法，进一步提升了运算效率。

主权项

1.一种基于切线单折线法的信赖域求解逻辑回归分析的方法，其特征在于，该方法包括以下步骤：步骤S1：利用线性回归的拟合函数和Logistic函数构造预测拟合函数；Logistic函数为：由公式(1)和(2)得到的预测拟合函数为： 步骤S2：由最大似然估计推导得到代价函数后，得到逻辑回归分析的求解目标；其中，代价函数为： 逻辑回归分析的求解目标为：步骤S3：构造信赖域模型子问题；在θ_k的Δ_k邻域内，由泰勒展开得到近似函数从而得出解信赖域模型子问题； 其中δ＝θ‑θ_k，J_k＝J(θ_k)，G_k是Hessian矩阵或其近似，Δ_k＞0为信赖域半径；步骤S4：使用切线单折线法求解信赖域模型子问题，得到最优数值解；记其最优解为dk，ΔJk:＝Jk‑J(θk+dk)为J在第k步中的实际下降量，对应的预测下降量为Δqk:＝qk(0)‑qk(dk)；定义比值为其中，Δqk＞0，若rk＜0，表明qk(δ)与目标函数J(θ)的一致性程度不好，需要缩小信赖域半径重新信赖域模型子问题(4)；rk越接近1，表明qk(δ)与J(θ)的一致性程度越好，此时θk+1:＝θk+dk作为新的迭代点，同时增大Δk进行下一次迭代；对于其他情况，Δk可以保持不变；直到迭代点θk满足终止准则，那么θ＝θk即为逻辑回归分析的求解目标的最优数值解。