[发明专利]一种基于logistic回归的慢性肾病预测方法

说明书

本发明公开了一种基于logistic回归的早期慢性肾脏疾病预测方法，所述包括如下步骤：从UCI数据库中获取早期慢性肾脏疾病的各项生理指标；将离散特征的字符串转换成哑变量；使用k近邻的方法对缺失值进行填补；对两两变量进行相关性分析，利用逐步回归法消除自变量间的多重共线性，其次利用相关系数对变量进行选择；采用下采样方法对样本不均衡进行处理；将数据集分为训练集和测试集，对训练集进行不同正则化惩罚力度的logistic回归建模；然后使用预测模型在测试集上进行预测是否患早期慢性肾脏疾病；本发明可以从多项生理指标中选择恰当的变量，然后建立正则化logistic回归模型，从而预测早期慢性肾脏疾病，结果表明可以得到准确的预测结果。

技术领域

本发明属于计算机应用技术领域，涉及一种基于logistic回归的慢性肾病预测方法。

背景技术

据统计，目前世界上已经高出8.5亿的人口患慢性肾脏病，慢性肾脏疾病者将发展成为慢性肾功能不全、肾衰竭，最终严重可能导致尿毒症。这种病在全世界发病率极高，但是不容易被发现。

Logistic回归分析是常用的处理定性变量的统计方法之一，它是一种根据定量变量或者定性变量来分析、预测因变量的回归分析方法，其在生物、经济等领域用途十分广泛。然而在我们建立模型中，不论是回归问题还是分类问题建模时常会遇到过拟合或者欠拟合现象，一开始我们的模型往往是欠拟合的，当我们不断用算法来优化的时候此时就会出现过拟合。最常见的情况就是随着模型复杂程度的提升，训练集效果越来越好，在测试集上的表现反而越来越差；还有特征太多，数据量太少。如果在训练集上得到的参数值忽高忽低，很可能导致过拟合，这时候就需要用到正则化惩罚，即惩罚数值较大的权重参数，降低它们对结果的影响。

发明内容

发明目的：提出了一种基于logistic回归的慢性肾脏疾病预测方法，该方法可以提取出对因变量有意义的变量，正则化Logistic回归模型能够很好地拟合数据，对预测病人是否患有早期慢性肾脏疾病有较高的准确率。所述包括如下步骤：

步骤1对早期慢性肾脏疾病数据集的预处理，包括数据集离散变量、连续变量以及缺失数据的处理；

步骤2各个自变量与因变量之间的关系进行相关性分析，从多个生理指标中筛选出与患早期慢性肾脏疾病相关程度较大的变量；

步骤3将数据集分为训练集和测试集，对训练集进行不同正则化惩罚力度的logistic回归建模，得到的分类器在测试集上进行验证是否患早期慢性肾脏疾病。

进一步，上述步骤1中包含下列的步骤：

步骤1.1首先对数据进行整理，将数据集中的离散变量的字符串转换成哑变量；

步骤1.2然后进行缺失值处理，本文k近邻的方法进行填补。k近邻插补法是指利用数据中与缺失值相关的无缺失值，找出距离最近的 k个样本，利用欧式距离函数来衡量这些样本与缺失样本之前的距离。估计值是通过对k个样本对应的缺失项进行距离加权得到的。

进一步，上述步骤2中包含下列的步骤：

步骤2.1对两两变量进行相关性分析，利用相关系数对变量进行选择。此处用的是spearman相关系数；

，式中d代表变量之间的等级差；

步骤2.2从相关性分析可以看出自变量之间是存在多重共线性的，这种情况会对logistic回归系数造成影响，因此利用逐步回归法消除多重共线性；

步骤2.3利用相关系数对变量进行选择，与因变量的相关系数绝对值小于0.25的删除。

进一步，上述步骤3中包含下列的步骤：

步骤3.1利用下采样方法使得正负样本平衡，将数据集分成训练集和测试集，对训练集进行五种不同正则化惩罚力度（0.01,0.1,1,10,100）的logistic回归建模，其中的基本过程是首先构建损失函数，此处使用对数损失函数，再加上L2正则项；然后用随机梯度下降法，不断更新，其中不参与惩罚，得到最优参数，使得损失函数最小；