[发明专利]一种基于云计算平台的海量图片并行处理方法

说明书

技术领域

本发明涉及云计算技术领域和图像处理领域，尤其涉及一种基于云计算平台的海量图片并行处理的方法。

背景技术

云计算（Cloud Computing）是网格计算（Grid Computing）、分布式计算（Distributed Computing）、并行计算（Parallel Computing）、效用计算（Utility Computing）、网络存储（Network Storage Technologies）、虚拟化（Virtualization）、负载均衡（Load Balance）等传统计算机技术和网络技术发展融合的产物，云计算是一种通过Internet以服务的方式提供动态可伸缩的虚拟化资源的计算模式。云计算基于互联网相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。

在云计算蓬勃发展的今天，海量图片处理成为一个非常热门和值得研究的领域，该研究领域涉及如何有效的存储和处理海量图片，其中图片按容量大小又分为几KB的小图片和几GB的大图片。为了高效的对不同大小的海量图片进行处理，所采用的处理方法也不同。

国内在海量小图片存储和处理领域，淘宝TFS文件系统针对于小图片的存储和处理进行了有针对性的优化，使得淘宝能够应付海量商品小图片的读取。

国外Facebook在海量图片存储和处理领域也是比较权威的，它们的架构要处理全球几亿用户上传的图片并进行存储和处理，以及接受相应高并发量的用户请求。

淘宝和Facebook在处理海量图片方面也是有针对性的，它们的主要目的是高效的图片数据存取，并不是有针对性的对海量图片进行算法处理和分析，并且目前针对GB级别大图片处理的相关方法研究仍然比较少。

发明内容

本发明提出了一种基于云计算平台的海量图片并行处理方法，其主要目的在于使用云计算平台的并行处理模型对海量小图片（小图片的大小判定依赖于算法、单个节点处理能力等）和单个大图片（一般可能几GB或几十GB）文件实现并行分析处理，提升图片分析处理的响应速度和吞吐量。

一种基于云计算平台的海量图片并行处理方法，基于云计算的分布式并行计算模型，该模型包括数据存储服务器，一个主节点和多个任务节点，包括以下几个步骤：

1）客户端将分配策略、处理代码和储存在数据存储服务器中待处理的图片信息递交至主节点；

2）主节点依据接收到图片信息，对数据存储服务器中的图片进行遍历，得到图片信息对应的图片位置信息，并对图片位置信息依据分配策略进行分包，然后将分包及处理代码传送至各任务节点；

3）各任务节点读取所接收到的分包中的图片位置信息，然后根据图片位置信息从数据存储服务器中读取相应的图片，并根据处理代码对图片进行并行处理；

4）各任务节点将处理后的图片存储在数据存储服务器中，并将图片的处理状态信息反馈给主节点。

在整个处理过程中，主节点作为一个控制节点，负责管理多个任务节点，主节点对将要处理的海量图片进行分发，将图片分发给不同的任务节点进行处理，然后等待各个任务节点处理完成，按照此方法将海量图片的处理进行了高效的并行化，任务节点越多处理速度越快。

针对大图片和小图片的处理，主节点在分发策略上有所不同。若图片为海量的小图片，且图片大小为几兆甚至几十兆时，所述的分包中包括对应的小图片在数据存储服务器的位置信息。可以将多个这种小图片打包分发给一个任务节点进行批量处理，分发小图片策略主要依赖于任务节点的数量、单个任务节点的处理能力，以及图片存储的节点位置。

当所述图片为单个大图片，且图片大小大于100兆时，由于单个任务节点对一张大图片进行算法处理的速度较慢，甚至单个任务节点的计算资源根本无法满足这张大图片的计算需求时，主节点可以根据图片本身的特点、单个任务节点的计算能力、算法限制等，将一张大于GB的图片按一定大小进行分割，将不同的分片分发给不同的任务节点进行处理，主节点负责等待任务节点返回图片分片的处理结果，再进行图片拼接。

所述主节点将大图片分割成若干小图片并对小图片进行排序，所述分包中包括大图片的位置信息和每个小图片的分割片段信息，所述的分割片段信息包括对应小图片的分片ID、偏移和长度信息。主节点将待处理的大图片根据任务节点的数量和相应的图片分割策略进行分割，然后将图片位置信息和分割片段信息打包分发给各个任务节点，各个任务节点从数据存储服务器中获取指定的分割图片信息，并对其进行处理。