[发明专利]一种用于大数据处理的计算系统及计算方法有效
申请号: | 201310455174.2 | 申请日: | 2013-09-29 |
公开(公告)号: | CN103488775A | 公开(公告)日: | 2014-01-01 |
发明(设计)人: | 王鹏;韩冀中;王伟平;孟丹;张云 | 申请(专利权)人: | 中国科学院信息工程研究所 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京轻创知识产权代理有限公司 11212 | 代理人: | 杨立 |
地址: | 100093 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种用于大数据处理的计算系统及方法,所述系统从下至上依次包括最底层模块、中间层模块和最高层模块,且中间层模块又包括消息传输模块和计算模型模块;最底层模块采用Hadoop分布式文件系统,用于存储数据;消息传输模块用于实现在不同计算节点运行的计算模型模块之间传递消息;在不同计算节点运行的计算模型模块根据所述消息传输模块传递的消息实现协同工作,并各自构建特定类型的计算模型来处理数据;最高层模块用于为计算模型提供编程接口,并以串行的方式组合不同计算模型表达的计算,同时设置不同计算模型之间基于内存流水线方式共享数据。本发明允许在一个系统内采用多种计算模型编写应用程序,能解决更复杂的问题。 | ||
搜索关键词: | 一种 用于 数据处理 计算 系统 计算方法 | ||
【主权项】:
一种用于大数据处理的计算系统,其特征在于,其运行于多个计算节点,且从下至上依次包括三层模块,分别为最底层模块、中间层模块和最高层模块,中间层模块又包括消息传输模块和计算模型模块:所述最底层模块,其采用Hadoop分布式文件系统,用于存储数据;所述消息传输模块,其用于实现在不同计算节点运行的计算模型模块之间传递消息;所述在不同计算节点运行的计算模型模块,其根据所述消息传输模块传递的消息实现协同工作,并各自构建特定类型的计算模型来处理从Hadoop分布式文件系统读取的数据;所述最高层模块,其用于为各特定类型的计算模型提供相应的编程接口,并以串行的方式组合不同计算模型表达的计算,同时设置不同计算模型之间基于内存流水线方式共享数据。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院信息工程研究所,未经中国科学院信息工程研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201310455174.2/,转载请声明来源钻瓜专利网。