[发明专利]一种分布式数字资源存储处理与管理的方法及系统

说明书

本发明公开了一种分布式数字资源存储处理与管理的系统，包括客户端、文件调配中心以及资源存储与服务系统。其中客户端负责资源的上传及存储决策；文件调配中心负责消息控制与任务调度；资源存储与服务系统负责资源存储与处理；并公布了资源的处理方式即将不同类型和规格的资源，采用相应的转码技术，转换为适用于HTML5标准的资源；同时针对不同类型资源，使用时间戳和水印保护技术进行统一保护；分布式数字资源管理系统采用任务计划和任务队列方式，合理调配服务器资源，有效的避开正常业务运行高峰，实现资源服务与资源处理的错峰运行。

技术领域

本发明涉及管理系统，具体是一种分布式数字资源存储处理与管理的方法及系统。

背景技术

随着社会的发展，越来越多的信息被数据化，互联网中的数据呈爆炸式增长，如何存储和管理这些数据化的信息就成为人们关注的焦点。七、八十年代，这些数据都被存放在昂贵的中小型机中，由管理员定期维护，但这样开销较大，又容易出错。

近年来，随着硬件技术的迅猛发展、宽带网络的逐渐成熟、开放源码的广泛兴起、以及对分布式系统的深入研究，出现了分布式文件系统的概念，并以此来存储和管理这些数据；这些系统可以由多台普通的PC服务器通过网络的方式连接而成，在分布式系统的统一管理下运行，以支持高可靠、高性能、以及大并发流的应用需求。

人们在日常办公中产生了大量的图片、照片、视频等非结构化的数据，这类数据以对象的形式组织，对象之间没有关联，这样的数据一般称为Blob(Binary Large Object，二进制大对象)数据。

数字资源处理系统可用于存储和处理Blob数据，建立企业公共资源中心，实现各类数字资源的数据存储、管理与处理。

分布式文件系统是新型的文件存储方式，它将大量普通的PC服务器通过Internet互联，对外作为一个整体提供存储服务。典型的系统有Facebook Haystack以及TaobaoFile System(TFS)。

传统的数字资源处理系统的技术方案如下：

1)首选用户将需要存储的资源上传至数据加工与处理服务器，数据加工与处理服务器对图片、视频、音频、文档等数据进行处理，如转码、添加备注信息，添加索引等形成标准化数据。

2)最后将已经处理的标准化数据存储至分布式文件系统中。

上述的数字资源处理系统的缺点主要有：

1)将数字资源的处理集中到一个服务器上，对数据加工与处理服务器的性能要求比较高，容灾性也不好，数字加工与处理服务器宕机后，整个系统将不能提供服务。

2)一般数字资源处理系统中的存储部分仅仅做资源存储的工作，不能进行数字资源的处理。

发明内容

本发明的目的在于提供一种分布式数字资源存储处理与管理的方法及系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种分布式数字资源存储处理与管理的系统，包括客户端、文件调配中心和资源存储与服务系统；所述客户端连接至文件调配中心，文件调配中心连接至存储于资源存储与服务系统，资源存储与服务系统负责资源存储与处理；所述文件调配中心对资源存储与服务系统、任务计划、资源上载进行调度，它负责整个系统的全局控制；同时文件调配中心内的服务监控日志模块连接至资源存储与服务系统内的心跳服务模块，文件调配中心持续的接收资源存储与服务系统内心跳服务模块提供的数据，实现对资源存储与服务系统实时监控；资源存储与服务系统为分布式数字资源管理系统的存储单元与任务执行单元，实现数据的本地化存储、资源镜像更新、文件资源保护、文件转码服务、文件动态回收，同时，实时监控本机状态，并周期性的推送至文件调配中心，完成对本机状态的维护；所述资源存储与服务系统数量设置在一个以上。