[发明专利]一种数据存储的方法在审
申请号: | 202010053679.6 | 申请日: | 2020-01-17 |
公开(公告)号: | CN111258978A | 公开(公告)日: | 2020-06-09 |
发明(设计)人: | 徐格 | 申请(专利权)人: | 广东小天才科技有限公司 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/17;G06F9/54 |
代理公司: | 深圳中一联合知识产权代理有限公司 44414 | 代理人: | 叶思 |
地址: | 523860 广东省东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 存储 方法 | ||
1.一种数据存储的方法,其特征在于,包括:
从Kafka消息队列中获取待分流的目标数据;
获取所述目标数据的目标属性标识;
根据预设的属性标识和预设的存储空间的映射关系,确定所述目标属性标识对应的目标存储空间,所述目标存储空间为Hadoop分布式文件系统HDFS服务器上的存储空间;
向所述HDFS服务器发送将所述目标数据写入所述目标存储空间的指示消息。
2.根据权利要求1所述的方法,其特征在于,所述根据预设的属性标识和预设的存储空间的映射关系,确定所述目标属性标识对应的目标存储空间,包括:
根据所述目标数据的所述目标属性标识,利用flink引擎、storm引擎或sparkstreaming引擎从所述映射关系中查询确定所述目标属性标识对应的所述目标存储空间。
3.根据权利要求1或2所述的方法,其特征在于,所述目标属性标识包括所述目标数据的创建者标识,用户标识或数据类别标识中的至少一种。
4.一种数据存储的方法,其特征在于,包括:
Hadoop分布式文件系统HDFS服务器获取目标服务器发送的将目标数据写入目标存储空间的指示消息,所述目标数据由所述目标服务器从Kafka消息队列中获取,所述目标存储空间为所述目标服务器在确定所述目标数据的目标属性标识后,根据预设的属性标识和预设的存储空间的映射关系确定的与所述目标属性标识对应的存储空间;
所述HDFS服务器将所述目标数据写入所述目标存储空间。
5.根据权利要求4所述的方法,其特征在于,所述目标存储空间为所述目标服务器在确定所述目标数据的目标属性标识后,利用flink引擎、storm引擎或者sparkstreaming引擎从预设的属性标识和预设的存储空间的映射关系查询确定的与所述目标属性标识对应的存储空间。
6.根据权利要求4或5所述的方法,其特征在于,所述属性标识包括数据的创建者标识,用户标识或数据类别标识中的至少一种。
7.一种数据存储系统,其特征在于,包括:
Kafka服务器、目标服务器和Hadoop分布式文件系统HDFS服务器;
所述Kafka服务器,用于采集目标数据,并将所述目标数据以Kafka队列消息的形式发送至所述目标服务器;
所述目标服务器,用于获取所述Kafka队列消息中的所述目标数据;确定所述目标数据的目标属性标识;根据预设的属性标识和预设的存储空间的映射关系,确定所述目标属性标识对应的目标存储空间;向所述HDFS服务器发送将所述目标数据写入所述目标存储空间的指示消息,所述目标存储空间为所述HDFS服务器上的存储空间;
所述HDFS服务器,用于将所述目标数据写入所述目标存储空间。
8.一种目标服务器,其特征在于,包括:
收发模块,用于从Kafka消息队列中获取待分流的目标数据;
查询模块,用于获取所述目标数据的目标属性标识;根据预设的属性标识和预设的存储空间的映射关系,确定所述目标属性标识对应的目标存储空间,所述目标存储空间为Hadoop分布式文件系统HDFS服务器上的存储空间;
读写模块,用于向所述HDFS服务器发送将所述目标数据写入所述目标存储空间的指示消息。
9.一种服务器,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至3,或者,4至6中任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3,或
者,4至6中任一项所述方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东小天才科技有限公司,未经广东小天才科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010053679.6/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置