[发明专利]一种基于MapReduce的约束关系粗糙集规则获取方法

摘要

本发明公开了一种基于MapReduce的约束关系粗糙集规则获取方法，主要解决现有串行分类规则获取方法无法处理海量数据的问题。该方法实现步骤是根据具体业务需求，配置数据分片规则库和条件约束值；建立训练数据集和测试数据集；对数据源进行数据预处理；数据分片；对各数据分片进行Map操作实施约束关系粗糙集算法，获取上下联合、优势集、上下近似集等；将同一类别的Map结果汇总进行Reduce操作，最终得到分类规则。本发明相较其他利用优势关系粗糙集理论获取分类规则的方法，能够充分利用多属性决策信息系统中的偏好规则，约束概念进一步量化了优势关系，MapReduce方法实现了海量数据中的并行运算，能够大大减少处理海量数据的时间，具有良好的时效性、可扩展性以及较强的实用价值。

主权项

一种基于MapReduce的约束关系粗糙集规则获取方法，其特征在于:具体包括如下步骤：步骤1，预先建立一个数据分布规则库，配置条件约束集；步骤2，搭建Hadoop分布式平台；步骤3，将数据集划分为训练数据集和测试数据集；步骤4，对数据集进行预处理，进而将数据集转化成Hadoop能够辨识的格式；步骤5，通过步骤1建立的数据分布规则库将数据集划分成多个数据分片；步骤6，对每个数据分片进行Map操作；步骤7，将步骤6获取的Map结果汇总进行Reduce操作，进而获取分类规则；所述步骤6具体过程如下：步骤6.1，将数据分片的数据集构造成信息系统模式，具体为：S＝{U,A,V,f,E}，其中U为论域，A＝C∪D，A是属性集，C是条件属性集合，D是决策属性集合，V是属性集的值域集，f是信息函数，E是条件约束集；步骤6.2，根据决策属性集合将步骤5获取的数据分片划分出有穷个决策类：Cl＝{Clt,t∈N},N＝{1,2,...,n}，其中，n为决策属性个数；计算各决策类的上联合及其优势集，进而得到上联合的下近似：为上联合，Lapp为上联合的下近似；步骤6.3，对每一个l∈Lapp，初始化规则集进而计算规则前件：Condition＝{rq≥vqi+eq}，其中，q∈C，rq表示属性q的规则值，i是下近似对象xi的下标，vqi表示属性q在xi处的属性值，eq是相应属性的约束值，根据覆盖样例集之间的衡量关系，选取最优的规则前件{best}，即DRl＝DRl∪{best}；步骤6.4，对每一个DRl，判断是否是最小规则集合：对每一条dr∈DRl，若则DRl＝DRl‑dr；步骤6.5，将最小规则集合纳入到结果规则集：即