[发明专利]用于云端大数据运算架构的服务器及其运算资源最佳化方法有效
申请号: | 201611095718.9 | 申请日: | 2016-12-02 |
公开(公告)号: | CN108089921B | 公开(公告)日: | 2022-01-21 |
发明(设计)人: | 周志远;吕世佑;陈振群;林展逸;吕欣泽 | 申请(专利权)人: | 财团法人资讯工业策进会 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 上海专利商标事务所有限公司 31100 | 代理人: | 喻学兵 |
地址: | 中国台湾台北市*** | 国省代码: | 台湾;71 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 云端 数据 运算 架构 服务器 及其 资源 最佳 方法 | ||
1.一种用于一云端大数据(Big Data)运算架构的服务器,包含:
一收发器,连接至一网络;以及
一处理器,电性连接至该收发器,用以运行一动态扩增系统(Dynamic ScalingSystem)以执行下列操作:
通过该收发器接收一任务信息,该任务信息记载一待执行任务的一使用者定义属性、一程序码文件及多个数据文件,该程序码文件及该多个数据文件存储于一数据存储系统,该数据存储系统运行于该云端大数据运算架构中的一数据存储服务器总成中;
执行一轮廓程序,包含下列步骤:
对该任务信息中所记载的该多个数据文件进行取样,以决定多个取样数据文件以及产生一预先执行信息,该预先执行信息记载该多个取样数据文件及该待执行任务的该程序码文件;
通过该收发器传送该预先执行信息至该云端大数据运算架构的一大数据运算服务器总成,以使该大数据运算服务器总成中所运行的一取样数据运算系统针对该多个取样数据文件,执行该程序码文件,并根据该程序码文件的一执行结果,产生一轮廓文件;以及
通过该收发器,自该大数据运算服务器总成,接收该轮廓文件,
执行一分类程序,包含下列步骤:
基于一分类模型,将该轮廓文件与该分类模型进行比对,以判断该待执行任务的一任务类别,
执行一预测程序,包含下列步骤:
基于一预测模型中对应该任务类别的一子预测模型所记载的一运算节点类型及一系统参数,指定该运算节点类型及该系统参数予该待执行任务;以及
基于该子预测模型,根据该任务类别及该轮廓文件,产生该待执行任务的一执行时间预测曲线,得到该待执行任务的相对于多个运算节点数量的多个预测执行时间,该多个运算节点数量是一对一地对应至该多个预测执行时间;
执行一最佳化程序,包含下列步骤:
判断是否存在至少一其他任务;
当存在该至少一其他任务时,根据该待执行任务的该使用者定义属性与该多个预测执行时间、各该至少一其他任务的一其他使用者定义属性及多个其他预测执行时间以及该大数据运算服务器总成的一最大运算资源,决定该待执行任务的一实际运算节点数量;
产生一最佳化输出信息,该最佳化输出信息记载该待执行任务的该程序码文件、该多个数据文件、该实际运算节点数量、该运算节点类型及该系统参数;以及
通过该收发器,传送该最佳化输出信息至该云端大数据运算架构的一管理服务器,以使该管理服务器所运行的一管理系统根据该最佳化输出信息,分配该大数据运算服务器总成中所运行的至少一数据运算系统来针对该待执行任务的该多个数据文件,执行该程序码文件,其中,该至少一数据运算系统的一数目等于该实际运算节点数量。
2.如权利要求1所述的服务器,其特征在于,该处理器更执行一监控程序,包含下列步骤:
于该至少一数据运算系统执行该待执行任务的该程序码文件时,更新该待执行任务的该执行时间预测曲线。
3.如权利要求1所述的服务器,其特征在于,该处理器于执行该轮廓程序前,更判断该待执行任务的该多个数据文件的一文件大小,以及当该多个数据文件的该文件大小大于一临界值时,执行该轮廓程序。
4.如权利要求1所述的服务器,其特征在于,该使用者定义属性包含一任务执行优先权值、一任务截止时间、一最小运算节点数量以及一最大运算节点数量,该最佳化程序更包含下列步骤:
根据下列公式计算该待执行任务的一任务权重值:
其中,V是该任务权重值,EP是该任务执行优先权值,D是该待执行任务的该任务截止时间,以及WT是一执行等待时间。
5.如权利要求4所述的服务器,其特征在于,该最佳化程序中,该处理器根据该待执行任务的该任务权重值与该多个预测执行时间、各该至少一其他任务的一其他任务权重值及该多个其他预测执行时间以及该大数据运算服务器总成的该最大运算资源,决定该待执行任务的该实际运算节点数量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于财团法人资讯工业策进会,未经财团法人资讯工业策进会许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611095718.9/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置