[发明专利]一种基于MPI并行求信息系统属性约简的方法

说明书

本发明请求保护一种基于MPI并行求信息系统属性约简的方法，首先，读取信息系统的数据，将数值进行预处理，数据离散化；其次，将信息系统水平划分为p个样本数据子集，通过通信分配给n个节点，并行计算数据子集的等价类，将各个节点的结果整合得到整个信息系统的m个等价类划分子信息系统；然后，将m个子信息系统分配给n个节点，并行计算属性核，直到处理完所有子信息系统，再将各个节点的结果合并，得出整个信息系统的属性核；最后，并行求出属性约简，将各个节点的属性约简结果进行整合，得到整个信息系统的属性约简。本发明结合了粗糙集属性约简方法和MPI并行计算，从而使得用分辨矩阵求属性约简的运算可以并行求得，提高算法的效率。

技术领域

本发明属于数据挖掘，粗糙集，并行计算领域，具体涉及一种基于MPI利用分辨矩阵并行求出属性约简的方法，。

背景技术

随着近年来数据爆炸式增长，并行技术显得越来越重要，并行计算的主要目的是节省大型复杂问题或海量数据的处理时间，整合“廉价”的计算机资源组建并行计算平台克服单机计算性能瓶颈和单机存储空间的限制。

并行计算是指在并行计算机或并行计算平台上将一个大型计算任务拆分为多个子任务，分配到各处理器，各处理器之间相互协同完成子任务，从而达到提高求解效率或完成大规模任务的目的。待处理问题具有并行性是运用并行计算优化解决方案的关键。并行计算分为时间并行和空间并行，时间并行实际上指的是流水线技术，空间并行则为多个处理器同时参与计算，是并行计算的主要研究问题。并行计算又可以分为数据并行和任务并行，让多个处理器参与计算，提高效率和性能。

消息传递接口(Message Passing Interface，简称MPI)自20世纪90年代以来一直是高性能计算领域并行程序开发的事实标准，目前大部分高性能计算平台均提供MPI并行环境。MPI是目前最重要的并行编程工具，它具有移植性好，功能强大，效率高等多种优点，而且有多种不同的免费高效实用的实现版本，几乎所有的并行计算机厂商都提供对它的支持，这是其它所有的并行编程环境都无法比拟的。

MPI于1994年产生，虽然产生时间相对较晚，由于它吸收了其它多种并行环境的优点，同时兼顾性能功能移植性等特点，在短短的几年内便迅速普及成为消息传递并行编程模式的标准。这也从一个方面说明了MPI的生命力和优越性，MPI其实就是一个库，共有上百个函数调用接口，在C语言中可以直接对这些函数进行调用，MPI提供的调用虽然很多，但最常使用的只有6个，只需通过使用这6个函数就可以完成几乎所有的通信功能。

MPI的特性：(1)容易使用，可移植性好。几乎所有的并行计算机都支持MPI框架，任何支持进程间通信的并行计算机都支持MPI的程序设计。(2)有完善的异步通信机制。每个并行进程有自己独立的内存空间，能够保证在不和其他并行的进程发生冲突下进行进程间通信，解决数据同步的问题，实现了真正的异步通信。(3)显式的数据交换。用户必须通过显式的发送和接收消息来实现并行进程间的消息和数据交换。(4)并行粒度大。消息传递模型的程序设计需要很好地分解任务，适应计算密集型应用，为减少通信消耗，适用于并行计算粒度大的大规模可扩展并行算法。

现实生活中信息系统的属性不仅多样化，维度高，而且包含噪音，冗余和不相关属性，为了解决数据计算的复杂性和准确性问题，消除噪音等对计算过程和最终结果造成的影响，减少规则抽取算法的计算时间，从而看清反应数据本质特征的分布情况，属性约简必不可少。近年来，粗糙集理论成为处理不确定信息的有效的数学工具。

粗糙集：该理论由波兰学者Pawlak教授于1982年提出，是一种能有效处理不精确、不确定和模糊信息的数学理论。目前，粗糙集已成功应用到机器学习、数据挖掘、智能数据分析和控制算法获取等领域。粗糙集理论的主要思想是利用已知的知识库，将不精确或不确定的知识用已知知识库中的知识来(近似)刻画。粗糙集可以不依赖先验知识，根据数据的决策与分布进行知识发现。