[发明专利]一种面向海量遥感影像的并行数据访问方法与系统

摘要

本发明公开了一种面向海量遥感影像的并行数据访问方法与系统，其存储方法为：1)用于采用设定网格体系对待处理的遥感影像进行切分，每一网格内的数据对应一数据块；2)收集过去一段时间内底层分布式对象存储系统Ceph的数据访问日志，衡量各Ceph集群的负载指标和各Pool的负载指标；3)依据步骤2)确定的负载指标，选择当前负载最小的Ceph集群中负载最小的Pool作为当前数据块的存储位置，将各个数据块写入对应Pool中；4)各数据块存储成功后，返回一数据标识dataid和该遥感影像的数据访问路径；5)将各数据块的元数据存储于元数据库。本发明可以支持基于步骤1)划分的网格数据块的大区域数据快速高并发读写。

主权项

1.一种面向海量遥感影像的数据存储方法，其步骤为：1)在保持原始遥感影像投影不变的基础上，以待剖分遥感影像原始投影系统的坐标原点为基准，以待剖分遥感影像像素为单位，网格大小设为固定值，对遥感影像按空间位置进行切分，每一网格内的数据对应一数据块；对每一数据块进行编号并计算对应数据块左上角像素点相对于该遥感影像左上角像素点的偏移信息；2)收集过去一段时间内底层分布式对象存储系统Ceph的数据访问日志，统计底层分布式对象存储系统Ceph中不同Ceph集群以及同一Ceph集群不同存储池Pool所处理的数据请求个数、所传输的数据量，并根据统计信息对各Ceph集群以及同一Ceph集群下各个Pool的负载情况进行量化，衡量各Ceph集群的负载指标和各Pool的负载指标；3)依据步骤2)确定的负载指标，选择当前负载最小的Ceph集群中负载最小的Pool作为当前数据块的存储位置，将各个数据块写入对应Pool中；4)各数据块存储成功后，返回一数据标识dataid和该遥感影像的数据访问路径；5)将各数据块的元数据存储于元数据库。