[发明专利]一种基于HDFS大数据存储的数据编辑方法

说明书

一种基于HDFS大数据存储的数据编辑方法，包括以下步骤：步骤一：配置存储策略、同步策略及数据合并策略；步骤二：数据接收服务根据存储策略将近一段时间内的数据存储在热数据存储内存及磁盘中；步骤三：数据同步服务根据同步策略以及数据是否为更新操作将热存储中的数据分别同步到分布式存储中的不同存储空间；步骤四：数据合并服务根据数据合并策略将分布式存储中两个存储空间的数据进行数据合并；步骤五：数据查询服务查询数据须先查询热存储，命中则返回，否则分别查询分布式存储两个存储空间，合并并返回查询结果。该方法实现了HDFS存储中的数据可更新功能，同时热存储中的数据提升访问效率。

技术领域

本发明涉及大数据存储技术领域，具体为一种基于HDFS大数据存储的数据编辑方法。

背景技术

HadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统。HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。非常多的非关系型数据库（NoSQL）底层存储采用HDFS，它们支持超大数据量存储、快速访问及数据分析，但它们中大多数并不支持数据更新操作。

发明内容

本发明的目的在于克服现有技术的不足之处，提供一种基于HDFS大数据存储的数据编辑方法，该方法实现了HDFS存储中的数据可更新功能，同时热存储中的数据提升访问效率。

一种基于HDFS大数据存储的数据编辑方法，包括以下步骤：

步骤一：配置存储策略、同步策略及数据合并策略；

步骤二：数据接收服务根据存储策略将近一段时间内的数据存储在热数据存储内存及磁盘中；

步骤三：数据同步服务根据同步策略以及数据是否为更新操作将热存储中的数据分别同步到分布式存储中的不同存储空间；

步骤四：数据合并服务根据数据合并策略将分布式存储中两个存储空间的数据进行数据合并；

步骤五：数据查询服务查询数据须先查询热存储，命中则返回，否则分别查询分布式存储两个存储空间，合并并返回查询结果。

而且，步骤一中的配置存储策略、同步策略及数据合并策略具体包括：

（1）配置存储策略以确定热存储中可存储的数据量，可选择时间式存储策略或空间式存储策略；时间式存储策略规定一定时间范围内的数据存储在热存储中；空间式存储策略规定一定数据量内的数据存储在热存储中；

（2）配置同步策略以确定热存储中的数据以何种方式同步至分布式文件存储HDFS中；可选择百分比同步策略或全量同步策略；百分比同步策略将热存储中一定百分比的数据量同步至分布式文件存储中；全量同步策略将热存储中全量数据同步至分布式文件存储中；

（3）配置数据合并策略以确定分布式存储中更新数据与旧数据合并操作的触发方式，可选择定时式策略或定量式策略；定时式策略规定数据合并操作在指定时间触发；定量式策略规定数据合并操作在更新数据达到一定数量时触发。

而且，步骤二包括以下子步骤：

（1）数据接收服务接收数据插入或数据更新请求，并将数据存入热存储空间；

（2）热存储空间分为插入数据存储空间和更新数据存储空间，插入数据存储空间用以存储新增请求的数据，更新数据存储空间用以存储更新请求的数据；

（3）对于新增数据请求，将数据存储在热存储中的插入数据存储空间；对于更新数据请求，将数据存储在热存储中的更新数据存储空间。

而且，步骤三中包括以下子步骤：

（1）数据同步服务定时启动，读取热存储数据，同步至分布式存储；

（2）分布式存储中分为数据存储空间和待更新数据存储空间；数据存储空间存储合并后数据，待更新数据存储空间存储待更新数据。