[发明专利]一种基于MapReduce的约束关系粗糙集规则获取方法

说明书

技术领域

本发明涉及一种规则获取方法，尤其涉及一种基于MapReduce的约束关系粗糙集规则获取方法，属于数据处理领域。

背景技术

在当前的数据信息时代背景下，从大规模数据集中提取有效的决策规则，能够对企业决策提供有力支撑。传统的决策方法主要是定性预测，即专家预测法，常侧重主观意识，近年来决策支持系统中涌现出越来越多的定量决策方法，即根据历史和现状统计资料，运用数学模型对资料进行科学的分析处理，找出预测目标与其他因素的规律性联系。据有关资料统计，预测方法已多达200余种。

在众多的决策获取方法中，利用粗糙集理论获取决策规则逐步成为决策支持系统中较主流的方法。经典粗糙集理论获取分类规则的具体做法是：首先将论域(研究对象组成的非空有限集)按照不可分辨关系划分成若干知识库，在保持分类能力不变的情况下，删除不相关或不重要的信息，获取关键属性，该过程称为知识约简，其结果是实现了数据降维，获取到约简属性，约简属性及其属性值构成了最终的分类规则。

然而在多属性决策信息系统中，属性之间存在的优劣关系对决策规则的获取具有重要意义，优势粗糙集理论能够从偏好属性决策表中获取可用于分类或决策的偏好规则，使粗糙集应用更具可靠性。但是，已有的并行知识约简算法大都是针对经典粗糙集方法，而且仅仅实现了约简任务的并行计算，是内存驻留算法，所有数据计算必须同时在内存中进行，并且它只能在单机上运行，这就大大地影响了算法的时效性和伸缩性，因此它不能处理大规模数据；利用云环境实现并行规则获取的方法，如发明专利“基于Hadoop的邻域粗糙集快速属性约简方法”(专利申请号：201310224008.1，公开号：103336790A)实现了邻域粗糙集属性约简算法的并行化，大大降低了时间复杂度，提高了大规模数据的分析效率，但是该发明仍然是针对传统的经典粗糙集理论实施了并行运算，没有解决偏好多属性决策信息系统中的不相容缺陷，获取到的决策规则可靠性较差。

发明内容

本发明所要解决的技术问题是针对背景技术的不足提供了一种基于MapReduce的约束关系粗糙集规则获取方法，其在解决了偏好多属性决策信息系统中的不相容缺陷的同时，引入约束概念进一步量化优势关系，构建MapReduce运算模型实现约束关系粗糙集下的并行规则获取。

本发明为解决上述技术问题采用以下技术方案

一种基于MapReduce的约束关系粗糙集规则获取方法，具体包括如下步骤：

步骤1，预先建立一个数据分布规则库，配置条件约束集；

步骤2，搭建Hadoop分布式平台；

步骤3，将数据集划分为训练数据集和测试数据集；

步骤4，对数据集进行预处理，进而将数据集转化成Hadoop能够辨识的格式；

步骤5，通过步骤1建立的数据分布规则库将数据集划分成多个数据分片；

步骤6，对每个数据分片进行Map操作；

步骤7，将步骤6获取的Map结果汇总进行Reduce操作，进而获取分类规则。

作为本发明一种基于MapReduce的约束关系粗糙集规则获取方法的进一步优选方案，所述步骤6具体过程如下：

步骤6.1，将数据分片的数据集构造成信息系统模式，具体为：S＝{U,A,V,f,E}，其中U为论域，A＝C∪D，A是属性集，C是条件属性集合，D是决策属性集合，V是属性集的值域集，f是信息函数，E是条件约束集；

步骤6.2，根据决策属性集合将步骤5获取的数据分片划分出有穷个决策类：Cl＝{Cl_t,t∈N},N＝{1,2,...,n}，其中，n为决策属性个数；计算各决策类的上联合及其优势集，进而得到上联合的下近似：为上联合，L_app为上联合的下近似；

步骤6.3，对每一个l∈L_app，初始化规则集进而计算规则前件：Condition＝{r_q≥v_qi+e_q}，其中，q∈C，r_q表示属性q的规则值，i是下近似对象x_i的下标，v_qi表示属性q在x_i处的属性值，e_q是相应属性的约束值，根据覆盖样例集之间的衡量关系，选取最优的规则前件{best}，即DR_l＝DR_l∪{best}；