[发明专利]一种数据处理方法、装置、设备及介质

说明书

本发明实施例提供了一种数据处理方法、装置、设备以及计算机存储介质，所述数据处理方法包括：接收结构化查询语言SQL请求；根据所述SQL请求，获取Hive对HDFS的访问数据；根据所述访问数据，对Hive表中指定HDFS目录下个周期被访问的期望评分；根据所述期望评分，将数据在异构存储中转移。用于解决现有技术中数据处理方式灵活性较差，效率不高的问题。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及介质

背景技术

分布式文件系统(Hadoop Distributed File System，简称HDFS)是一种运行在普通硬件上的分布式文件系统，具有高度容错性，高吞吐量，适合大规模数据集的特点，属于大数据生态圈的基础组件。

HDFS提供异构的存储功能，将不同的数据存放于不同区域，并通过设置策略将文件存放到响应SSD或HHD上。SSD相对于HDD有更快的读写速度，更小的读写延迟，根据intel的测试有以下数据，如下述表1所示：

表1

可以通过hdfs dfsadmin-setStoragePolicypathpolicyName设置存储策略。通过hdfs mover对于那些storage policy发生变化的block块，该工具会将对应的block块进行迁移。块迁移的过程就是数据从SSD迁移到HDD和HDD迁移到SSD的过程。异构HDFS的存储结构如图1所示。

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。本质上Hive可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，Hive在查询过程中会读取HDFS中数据块。Hive数据存储依赖于底层的HDFS,在HDFS中通过参数：hive.metastore.warehouse.dir来定义数据在hdfs中存储位置，每一张表对应HDFS中的一个目录，当Hive在处理作业任务时候，Hive会通过HDFS中定义的read方法从磁盘中读取数据，HDFS的读取速度直接影响程序的运行效率。

现有技术中，存储方式的灵活性较差，官方提供了hdfs mover，Hive仅仅提供临时表的SSD，RAM的存储优化，通常的做法是预先划分目录的存储策略，但是SSD在同一个集群内属于稀缺资源，在多租户的情况下，无法在全局的角度下判断哪些业务数据属于对IO要求更高的场景。集群中会有大量临时的读请求，对于此类场景不能频繁的进行数据迁移，对于周期性的报表需求需要根据一段时间的观察判断。文件的存储策略为手动标记，无法做到根据集群当前状态及使用情况进行存储块迁移。

综上所述，现有技术中数据处理方式灵活性较差、效率不高。

发明内容

本发明实施例提供了一种数据处理方法、装置、设备以及计算机存储介质，用于解决现有技术中数据处理方式灵活性较差，效率不高的问题。

第一方面，一种数据处理方法，其特征在于，所述方法包括：接收结构化查询语言SQL请求；

根据所述SQL请求，获取Hive对HDFS的访问数据；根据所述访问数据，对Hive表中指定HDFS目录下个周期被访问的期望评分；根据所述期望评分，将数据在异构存储中转移。

第二方面，本发明实施例提供了一种数据处理装置，其特征在于，所述装置包括：接收模块，用于接收结构化查询语言SQL请求；根据所述SQL请求，获取Hive对HDFS的访问数据；处理模块，用于根据所述访问数据，对Hive表中指定HDFS目录下个周期被访问的期望评分；执行模块，用于根据所述期望评分，将数据在异构存储中转移。