[发明专利]基于hadoop的海量瓦片小文件存储管理方法

摘要

本发明提供一种基于hadoop的海量瓦片小文件存储管理方法，通过希尔伯特曲线排序再利用Hadoop本身自带的Sequence File技术对栅格瓦片数据进行序列化压缩存储；在生成瓦片压缩块的时候实现多台服务器多线程并行压缩及生成瓦片索引信息，提高海量文件入库存储速度；对块文件名的规则命名管理，能对海量、多源、多版本栅格小瓦片提供高效存储、快速读取及高性能栅格数据服务；设计了ITMS（Improved Tile Map Service），解决传输原始数据和应对实时数据处理请求造成的延迟与带宽占用，以满足项目数据检索与传输要求。

主权项

一种基于hadoop的海量瓦片小文件存储管理方法，其特征在于：包括以下步骤：步骤S1:对欲存储的文件的大小进行判断，如果单个文件小于20M的将其进行序列化压缩再入库存储，如果单个文件大于等于20M就直接入库存储；步骤S2：引入了希尔伯特曲线对存储的文件进行排序；步骤S3：对存储的文件进行压缩及生成瓦片索引信息；步骤S4：对瓦片文件进行分类、命名；步骤S5：建立瓦片信息索引表；步骤S6：提供一改进型地理数据块服务ITMS，通过所述ITMS提供的对多类型预生成地理数据块进行异步访问；ITMS的实现包括以下步骤：通过ITMS接口接收客户端请求使其接收服务元数据资源及地理数据块资源，其中服务元数据资源为服务端实现的能力和包含的信息，地理数据块资源表示一层地理数据中的一个瓦片；利用键值对列表形式表示参数和值，通过HTTP GET或POST方式向系统发送服务请求；其中地理数据块为图片、矢量、数据块元数据或其他服务元数据中定义的文件格式，服务端同时只返回某数据块的单一完整格式文件；步骤S7：将Memcached作为一个缓存区域，若请求的瓦片数据在缓存列表中，则直接返回该瓦片数据，否则去HBase中查询；将缓存查询结果字符串索引保存到缓存列表中，并将被请求过的数据瓦片保存在内存中。