[发明专利]一种云平台数据处理方法

说明书

技术领域

本发明涉及云计算，特别涉及一种云平台数据处理方法。

背景技术

云存储具有高可靠性、高扩展性、廉价低开销的特点。每台存储机器都是一个独立的存储节点，节点的加入和分离不影响系统的正常运行，文件的数据量大；在处理海量视频数据方面具有优势。但是，由于视频数据数据分块数量很多，并且每个数据分块及其版本都存储在云平台中的不同节点中，因此在大量节点上需要进行事务的最优调度，而目前云平台中的调度和资源分配机制是一种静态地局部调度机制，在进行资源分配和调度时，仅考虑距离数据最近节点的当前资源状态，而没有从系统全局的角度进行资源的最佳分配。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种云平台数据处理方法，包括：

将云存储系统中的视频数据文件以数据分块多版本的形式存储并规划并行处理事务，以数据块和版本之间的映射关系为特征，对云平台中多个数据节点执行聚类，根据已执行的事务的反馈信息来动态调度未执行的事务。

优选地，所述将云存储系统中的视频数据文件以数据分块多版本的形式存储，进一步包括：

将视频应用的用户需求以事务描述文件的形式提交到云存储系统的客户端，当一个事务被提交时，客户端根据数据分块信息把事务划分成多个子事务来并行执行，每个子事务关联着一个数据块，以将不同子事务分布到不同的节点上执行，所述数据分块信息通过树Tr来描述，Tr＝(C，R)，其中C是一个数据元素集合，每个元素代表一个数据块；R是一个二元关系集合每个元素代表两个数据块的内容是否相同，所述数据元素集合C中的元素c_i可以用一个二元组向量来描述：c_i＝<block_i，a_i>，其中block_i表示数据块i的编号，a_i表示数据块i所在节点的编号，所述二元关系集合R中的元素r_i，j表示数据块j是数据块i的备份版本。

优选地，每个所述数据节点都有一个调度进程，不同节点的调度进程根据所在数据节点的虚拟机的当前状态和客户端的调度进程通信，传递事务调度和控制信息，客户端的调度进程根据查询到的视频数据分块信息树Tr将事务划分成子事务后，根据二元关系集合R将数据节点执行聚类，聚类规则为：

对于任意节点a_i，a_i∈D_m，如果a_j∈D_m并且a_i≠a_j，则存在r_i，j∈R

其中D_m为存储同一个数据块m的所有数据节点组成的聚类集合，客户端的调度进程在D_m内选择一个最佳节点来执行任务；

如果数据节点的调度进程接受了一个事务，则该事务根据其优先级插入这个节点的等待事务队列，或者抢占其它低优先级的事务立即执行，在事务执行完毕后，数据节点的调度进程就通知客户端的调度进程，使客户端的调度进程进行后继事务的调度。

本发明相比现有技术，具有以下优点：

本发明提出的方法提高了云平台系统的资源利用率和负载均衡的效果。

附图说明

图1是根据本发明实施例的云平台数据处理方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明在云计算环境下，对处理视频数据的事务以及事务调度与资源分配方法进行建模，在此模型下提出了一种面向视频数据的事务调度方法。该方法以云存储系统中视频数据文件的分块多版本存储形式为基础来规划并行处理事务，以数据块和版本的映射关系为特征对云平台中数据节点执行聚类，以已执行完毕事务的反馈信息为基础来动态调度未执行事务，以此来提高系统资源利用率和负载均衡的效果。图1是根据本发明实施例的云平台数据处理方法流程图。