[发明专利]一种SparkMLlib数据处理加速的方法及系统在审
| 申请号： | 201611056361.3 | 申请日： | 2016-11-24 |
| 公开（公告）号： | CN106547627A | 公开（公告）日： | 2017-03-29 |
| 发明（设计）人： | 王丽;陈继承;王洪伟 | 申请（专利权）人： | 郑州云海信息技术有限公司 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50 |
| 代理公司： | 北京集佳知识产权代理有限公司11227 | 代理人： | 罗满 |
| 地址： | 450018 河南省郑州市*** | 国省代码： | 河南;41 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例公开了一种Spark MLlib数据处理加速的方法，包括判断MLlib算法是否满足FPGA OpenCL并行化计算条件；如果满足，则将MLlib算法核心计算部分分配到FPGA进行运算；否则，MLlib算法仍在Spark平台进行运算。根据MLlib算法的性质对其按需所分，将满足条件的算法分配到FPGA进行并行运算，一定程度上解决了内存开销过大的问题；由于FPGA对任务进行的是并行处理，提高了任务运算速度，使得Spark Mllib整体的数据处理速度加快，提升了Spark平台的计算性能。此外，本发明实施例还提供了相应的系统，进一步使得所述方法更具有实用性，所述系统具有相应的优点。 | ||
| 搜索关键词： | 一种 sparkmllib 数据处理 加速 方法 系统 | ||
【主权项】：
一种Spark MLlib数据处理加速的方法，其特征在于，包括：判断Mllib算法是否符合FPGA OpenCL并行优化设计条件；当判定所述Mllib算法符合所述FPGA OpenCL并行优化设计条件时，将所述Mllib算法的核心计算部分基于OpenCL实现并行化设计描述，并移植到FPGA上实现并行计算，所述OpenCL通过Scala调用OpenCL专用接口，以实现FPGA与Spark平台的融合；反之，则所述Mllib算法在所述Spark平台进行运算。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于郑州云海信息技术有限公司，未经郑州云海信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201611056361.3/，转载请声明来源钻瓜专利网。
- 上一篇：用于对等架构均衡服务器的方法及服务器
- 下一篇：多系统的资源释放方法及装置
