[发明专利]一种基于多属性最优化的海洋监测数据副本管理方法

说明书

技术领域

本发明涉及数据监测技术领域，具体地说，是一种基于多属性最优化的海洋监测数据副本管理方法。

背景技术

随着海洋观测和预报技术快速发展，相关数据量爆炸式增长，海洋大数据发展正成为科学大数据的重要应用之一。海洋大数据主要包括雷达和卫星等观测资料、数值预报模式结果以及预报产品等数据。根据以往关于海洋数据量的研究,2014年全球各种海洋数据总量约为25PB，预计2030年全球海洋数据总量将达到275PB。为了更好地适应海洋监测实时大数据的处理和分析，需采用云环境下的分布式存储模式。然而，在云存储系统复杂的网络环境中，单一的数据存储往往会受到网络以及机架存储结点的影响，出现数据传输延迟甚至存取数据失效，因而添加数据的副本能够增加系统的稳定性，提升存取数据的性能和效率。所以，设计面向海洋监测大数据的副本管理方法具有很大的必要性。

副本技术是将一个数据项复制多份分别存放在分布式系统的多个节点上，用以提高系统的可靠性、负载均衡以及访问速率，它是一种最为常用和重要的数据管理机制。然而，在提升系统各方面性能的同时，副本技术也带来了一系列的管理和开销问题。目前，研究者己经提出了多种副本管理策略。

一种用于GFS的静态分布式数据副本算法，它从以下三个方面来决定数据块的副本：1)将新的副本放置到磁盘空间使用率低于平均值的数据服务器上。2)限制每台数据服务器最近创建副本的次数。3)将数据块的不同副本分布到不同的机架上。这一算法的缺点就是他对系统中的所有数据都分配一个固定的副本数目，这对于数据来说并不是一个最佳的选择。

一种云数据中心内新型的费用有效的动态数据副本策略CIR，它为了达到费用有效的目标，采用了一种增量副本的方式，使得在满足系统可靠性需求的同时来最小化副本数目。他们提出的方法能够减少数据存储花费，特别是当数据仅仅只需存储简短的时间或者有比较低的可用性需求时。然而，他们的方法仅仅基于可靠性参数和亚马逊S3的价格模型，从而使得它并不适应于比亚马逊S3存储单元有着更高故障率的谷歌集群。

中国发明专利CN201610912503.5，公开日为2017.03.15，公开了一种分布式块数据的访问方法，包括根据接收的数据访问请求，获取待访问数据块；获取所述待访问数据块的至少两个副本分别所在的至少两个节点服务器；根据所述至少两个节点服务器的负载值，行程至少两个数值区间；在所述至少两个数值区间内生成一个随机数；根据所述随机数以及所述至少两个数值区间，从所述至少两个节点服务器中，选择一节点服务器；从选择的所述节点服务器，访问所述待访问数据库的一副本。该方法能够实现节点服务器的负载均衡，但是该方法中副本的个数是一定的，不会随着数据访问的变化而变化，虽然能够保证负载均衡，但是无法高效的将数据分布在云环境中，会造成存储空间的浪费。

中国发明专利CN201580024098.7，公开日为2017.02.22，公开了一种分布式远程数据存储访问方法，包括在第一网络附接存储设备(NAS)的数据存储的第一部分中存储用户数据；使能所述第一NAS的文件共享功能；指定所述第一NAS的数据存储的第二部分用于与所述使能相结合的共享数据存储；将所述用户数据的至少一部分的副本提供给第二NAS用于存储于其中；从所述第二NAS接收第三方数据的副本；在所述第一NAS的数据存储的第二部分中存储所述第三方数据的副本；从所述第一NAS下载所述用户数据的至少一部分；从所述第二NAS下载所述用户数据的副本的至少一部分。其将数据村淳分布在一个或多个数据存储设备上，可以通过数据冗余提供增加数据安全性或数据访问，但是该方法只能用于较少数据的存储及访问，无法用于大量数据的存储及访问，无法在对大量数据存储访问时提供效率、安全性。