[发明专利]一种用于慢性肾病病历分类的粗糙证据粒球Spark方法

说明书

本发明涉及到医学信息智能处理领域，具体涉及一种用于慢性肾病病历分类的粗糙证据粒球Spark方法。首先在主节点上读取慢性肾病病历数据，并将该数据集划分为训练集和测试集；接着在子节点上将训练子集样本并行划分生成多个粗糙证据粒球；然后利用基于粗糙证据粒球的Spark并行病理属性约简方法来获得训练子集的病理属性约简子集，并更新所有训练子集和测试集的病理属性集；最后通过Spark并行化的粗糙证据粒球邻域分类方法获得测试集样本的预测类别标签结果。本发明可以有效地去除大规模慢性肾脏病历数据中冗余的病理属性，并利用粗糙证据减少冗余样本和异常样本对决策过程的影响，从而提升了大规模慢性肾脏病历数据的分类精度和计算效率。

技术领域

本发明涉及到医学信息智能处理领域，具体涉及一种用于慢性肾病病历分类的粗糙证据粒球Spark方法。

背景技术

慢性肾病(Chronic kidney disease；CKD)是指在人体的内环境与外环境之间多种治病因素破坏了人体的平衡，导致脏腑气血功能失调，病及于肾，引起了肾脏疾病的产生。同时，由慢性肾病引发的并发症种类很多，医生只依靠患者的体征无法有效精准地判断患者是否患有慢性肾病。当前，判断慢性肾病病变状况的办法大多是通过对血尿、蛋白尿、高血压等信息进行分析，然而实验却需要几十种病因病机的病理属性实验结合在一起。这会导致实验测试数据属性过多和数据量过大，也会增加医生对慢性肾病患者的病变情况进行判断的难度。如何有效分析患者的慢性肾病病变信息和帮助医生有效地分析患者慢性肾病病变症状，急需一种能有效地减少慢性肾病数据分类信息中冗余的病理属性的新方法，降低慢性肾病数据的分析时间以及提高分析效率。

发明内容

本发明的目的是为了解决上述技术问题，提出了一种用于慢性肾病病历分类的粗糙证据粒球Spark方法。

本发明采取的技术方案如下：一种用于慢性肾病病历分类的粗糙证据粒球Spark方法，包括以下步骤：

步骤1、在主节点Master上，通过Hadoop分布式文件系统HDFS读取大规模慢性肾病病历数据集，接着将其划分为训练数据集S^TR和测试数据集S^TE，然后将慢性肾病病历数据转换为一个四元组决策信息系统S＝U,C∪d,V,f，决策信息系统S表示如下：

S＝U,C∪d,V,f，其中U＝{x₁,x₂,...,x_M}表示慢性肾病病历数据集中的患者对象集合，M表示慢性肾病患者的个数；C＝{a₁,a₂,...,a_n}表示慢性肾病病历中病理属性的非空有限集合，n表示慢性肾病病历中病理属性的个数；d表示慢性肾病患者类别标签的非空有限集合，d＝0表示患者没有患有慢性肾病，d＝1表示患者患有慢性肾病，且V＝∪_a∈C∪dV_a，V_a是慢性肾病病历中病理属性a的可能情况；f:U×C∪d→V是一个信息映射函数，它为每个慢性肾病病历中病理属性赋予一个信息值，即x∈U,f(x,a)∈V_a；

步骤2、在主节点Master上，将训练数据集S^TR划分为m个训练数据子集再将其发送到相应的子节点上，且满足任意的训练数据子集之间的交集为空和所有的训练数据子集之和等于训练数据集；

步骤3、在子节点Slaver_i(i＝1,2,...,m)上，根据粗糙证据粒球的自适应划分过程将训练数据子集并行划分成多个可信度为1的粗糙证据粒球集合；

步骤4、在子节点Slaver_i(i＝1,2,...,m)上，构建基于粗糙证据粒球的Spark并行病理属性约简模型并计算得到慢性肾病病历数据在不同子节点下的病理属性约简子集集合{R₁,R₂,...,R_i,...,R_m}；