[发明专利]一种图片专属安全存储云系统

说明书

技术领域

本发明涉及与可视化监控相关的信息技术领域，尤其涉及一种图片专属安全存储云系统。

背景技术

目前，在平安城市、智慧交通等可视化监控系统的建设中，会涉及到大量的图片数据存储。随着可视化监控系统布设前端点位的增多以及图片存储时长的增长，图片存储占用的容量急剧上升，如某些地市一天的卡口监控所摄制图片可达3000万张，按每张1MB计算，一个月就需要近1000TB的存储空间。

对于图片数据的存储，常规的做法，是以数据存储通用的文件系统为基础，在系统后台的服务器上直接进行图片文件存储。有些技术是采用FTP服务器或者WEB服务器方式进行数据存取，有些是采用NFS/CIFS协议文件共享的方式实现到服务器的直接存取。这样的方式简单直接，但随着图片容量的极速增长以及对图片存储存取性能、可靠性的更高要求，因技术上固有的瓶颈，此类方案越来越力不从心。

具体来看，上述现有技术目前出现的缺陷包括：首先，所采用的通用文件系统在文件数量急剧增长后，访问效率急剧下降；同时，伴随着新旧文件的不断增删，磁盘碎片会越来越多，导致访问效率进一步恶化。其次，如果出现主机异常断电等非正常停机情况，开机后文件系统的长达数小时的自检时长也会是一个灾难。而且，为了应对容量及性能的瓶颈，常规做法是手动划定某些前端点位来源的图片存储在某预定的服务器上，但这样带来的问题是无法统筹管理所有的存储空间，无法动态调度分配，无法对该服务器的剩余存储空间动态均衡，造成存储空间的浪费且无法冗备，难以动态弹性扩容。

伴随着以Hadoop为代表的云存储技术的发展，部分现有的可视化监控系统提出以云存储系统作为后台支撑海量图片数据的存储，旨在利用云存储的技术优势，缓解存储空间上的压力，尽可能提高数据存取应用的效率，并且保障数据安全性。

云存储是当前云技术(CLOUD)较为成熟的一个重要分支，其核心是将大量分散和异构的存储设备通过网络连接和整合为统一的存储空间，利用通用的外部访问接口，提供数据存储业务。

目前，云存储系统对海量数据的存取和管理主要基于比较成熟的Hadoop分布式文件系统。Hadoop系统将整个云存储系统构造为数据节点、元数据节点、以及客户端。其中，大量和分散的存储设备作为数据节点，以文件为单元执行对数据的实际存储，支持数据的存取应用，并且将文件相关的信息定期上报给元数据节点。元数据节点是主节点，其功能一方面是根据数据节点上传的信息生成以及保存所述文件的元数据，元数据反映了所述文件到实际存储空间的映射，另一方面，元数据节点负责响应客户端的请求而执行对文件的操作，其中最基本的操作是文件的读取，还包括文件的删除、重命名以及其它目录操作。数据节点对文件的上述操作会造成文件相关信息的改变，因而需要相应地更改元数据节点上与操作所涉及文件相关的元数据。在数据安全性方面，Hadoop系统采用文件副本的方式执行冗余备份，将一个文件生成为三个副本并分布存储于不同的数据节点之上，当一个文件副本出现问题时可以利用其它副本即时予以恢复。

然而，将Hadoop分布式文件系统基础上的云存储系统应用到可视化监控的海量图片文件存储，仍然会出现问题。首先，可视化监控所产生的图片数据具有海量级的文件数量和轻量级的文件大小，例如上文所述，城市的可视化监控系统一天可能产生3000万个大小为1M左右的图片文件，在Hadoop分布式文件系统的体系之下需要为海量级的图片文件生成、保存以及更新管理各个文件的元数据，将造成元数据数据规模的泛滥以及元数据体系的复杂化，给基于元数据的文件存取和操作带来困难。其次，可视化监控特殊的应用场景造成其与Hadoop系统模式的不兼容，Hadoop系统适用的常规云存储模式是：文件一次写入、很少删除、多次读取；而在可视化监控应用当中图片文件需要一次写入、循环删除、多次读取。两者最大的区别在于“删除”操作的频率，因为在可视化监控的场景下，随着时间的不断推移，图片文件会无限的产生，因此必须循环删除生成时间上靠前的图片文件，从而腾出存储空间。但是，频繁的删除操作会带来元数据管理的巨大开销，这也是Hadoop系统在处理此类问题时的“短板”。再次，Hadoop系统为了强化数据安全而给出的冗余备份方案建立三个副本，耗费过多的存储空间，在可视化监控的数据量级下难以实际采纳。

发明内容