[发明专利]一种基于MapReduce的K-means聚类算法FPGA加速系统

说明书

本发明提出了一种基于MapReduce的K‑means聚类算法FPGA加速系统，该加速系统主要包括Map任务数据收发子系统、Map任务加速子系统、Reduce任务数据收发子系统和Reduce任务加速子系统，Map任务数据收发子系统传送来自PCIe端的相应数据给Map任务加速子系统，并将Map任务加速子系统的最终计算结果回传给PCIe端；Reduce任务数据收发子系统传送来自PCIe端的相应数据给Reduce任务加速子系统，并将Reduce任务加速子系统的最终计算结果回传给PCIe端。按照本发明实现的加速系统，将所需要进行的耗时计算过程从上层中分离出来，采用专用的硬件系统来进行相应的计算，并且系统中的各模块采用流水线设计和并行处理方法，大大提高了运算处理速度。

技术领域

本发明属于复杂算法硬件加速系统，具体涉及一种大数据量下基于MapReduce的K-means聚类算法FPGA加速系统。

背景技术

随着大数据时代的来临，大数据的应用越来越彰显它的优势，它占领的领域也越来越大；但大数据时代仍然面临着一些亟待解决的难题，比如数据量大、价值密度低、处理速度快、时序性要求高等，因此机器学习和数据挖掘技术正日益获得计算领域的关注。

聚类分析是数据挖掘中的重要内容，在工业、商业和科研等领域发挥着越来越重要的作用。K-means算法属于聚类分析中的一种基本划分方法，常采用误差平方和准则函数作为聚类准则，该算法在处理数据集上相对可伸缩且效率高。但面对大规模数据集时，其串行计算方法的时间复杂度比较高，处理能力存在局限性，其在计算数据对象间的距离上遇到瓶颈。

发明内容

本发明提供一种大数据量下基于MapReduce的K-means聚类算法FPGA加速系统，其目的在于克服现有PC机或服务器串行方式执行K-means算法计算复杂度高，速度慢，算法时间开销大的缺陷，以获取更快的计算处理速度。

本发明所提供的一种基于MapReduce的K-means聚类算法FPGA加速系统，其特征在于，

该加速系统可模块化设计，可多个独立并行设置于集群中实现加速；

所述加速系统包括Map任务数据收发子系统、Map任务加速子系统、Reduce任务数据收发子系统和Reduce任务加速子系统；

所述Map任务数据收发子系统传送来自PCIe端的对应数据给所述Map任务加速子系统，并将所述Map任务加速子系统的计算结果数据回传给PCIe端；

所述Reduce任务数据收发子系统传送来自所述PCIe端的对应数据给所述Reduce任务加速子系统，并将所述Reduce任务加速子系统最终计算结果回传给PCIe端；

所述Reduce任务加速子系统完成K-means算法中单个MapReduce任务的Reduce计算阶段，即计算K个类簇的聚类中心；

所述Map任务加速子系统完成所述K-means算法中单个MapReduce任务的Map计算阶段，即计算数据对象与K个所述聚类中心的距离，并将所述数据对象指派到一个距离其最近的聚类中心所在的类簇。

进一步地，所述Map任务数据收发子系统和所述Reduce任务数据收发子系统的组成都包括各自的交互接口模块、数据读取模块和数据发送模块；

所述Map任务数据收发子系统中的数据读取模块、数据发送模块与所述外部PCIe端相连，所述Map任务加速子系统与所述Map任务数据收发子系统中的数据读取模块相连，所述Map任务数据收发子系统中的数据发送模块与所述Map任务加速子系统相连；所述Map任务数据收发子系统中的交互接口模块与所述外部PCIe端相连，所述Map任务加速子系统与所述Map任务数据收发子系统中的交互接口模块相连；