[发明专利]数据分类存储方法、装置及相关产品在审

专利信息
申请号: 202011446652.X 申请日: 2020-12-08
公开(公告)号: CN112559642A 公开(公告)日: 2021-03-26
发明(设计)人: 刘鹏;王建健;杨凯华;王巍;李宪英;向世勇;易凯 申请(专利权)人: 爱信诺征信有限公司;航天信息系统工程(北京)有限公司
主分类号: G06F16/28 分类号: G06F16/28;G06F16/22;G06F16/27;G06F16/2455
代理公司: 北京合智同创知识产权代理有限公司 11545 代理人: 李杰
地址: 100097 北京市海淀区*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据 分类 存储 方法 装置 相关 产品
【权利要求书】:

1.一种数据分类存储方法,其特征在于,包括:

根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别;

根据所述目标数据的类别,确定所述目标数据的存储方式;

根据确定出的存储方式,对所述目标数据进行存储处理。

2.根据权利要求1所述的数据分类存储方法,其特征在于,所述根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别,包括:根据设置的决策树数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别,并生成所述目标数据对应的决策树;将所述目标数据的类别存储到所述决策树的结果节点上。

3.根据权利要求1所述的数据分类存储方法,其特征在于,所述数据分类机制包括重要程度以及大小;所述根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别包括:根据目标数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类;根据数据的大小以及设定的数据量阈值,对任一权重分类对应的目标数据进行分类确定出数据大小分类。

4.根据权利要求1所述的数据分类存储方法,其特征在于,所述根据目标数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类,包括:获取给所述目标数据配置的权重;根据所述权重确定所述目标数据的重要程度;根据数据的重要程度对所述数据流中的目标数据进行分类确定出数据重要性分类。

5.根据权利要求1所述的数据分类存储方法,其特征在于,所述根据所述目标数据的类别,确定所述目标数据的存储方式,包括:若所述目标数据的类别表征出所述目标数据属于须备份的数据,则所述目标数据的存储方式为分布式存储;否则,则所述目标数据的存储方式为磁盘存储。

6.根据权利要求1所述的数据分类存储方法,其特征在于,所述根据所述目标数据的类别,确定所述目标数据的存储方式,包括:若所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据,则所述目标数据的存储方式为非关系型存储方式;否则,所述目标数据的存储方式为关系型存储方式。

7.根据权利要求1所述的数据分类存储方法,其特征在于,所述根据所述目标数据的类别,确定所述目标数据的存储方式,包括:若所述目标数据的类别表征出所述目标数据属于占用空间超过设定空间阈值的数据,则所述目标数据的存储方式为HDFS存储方式;否则,则所述目标数据的存储方式为Hbase存储方式,所述HDFS存储方式使得所述目标数据存储在Hadoop文件分发库中,Hbase存储方式使得所述目标数据存储在Hadoop数据库。

8.根据权利要求1-7任一项所述的数据分类存储方法,其特征在于,所述根据确定出的存储方式,对所述目标数据进行存储处理包括:为同一类型的所述目标数据分配相同的存储位置,而不同类型的所述目标数据分配不同的存储位置。

9.根据权利要求8所述的数据分类存储方法,其特征在于,所述数据分类存储方法还包括:通过元数据中间件对所述数据分类机制以及所述存储方式进行存储管理。

10.一种数据分类存储装置,其特征在于,包括:

数据分类单元,用于根据设置的数据分类机制对数据流中的目标数据进行分类以确定所述目标数据的类别;

存储方式确定单元,用于根据所述目标数据的类别,确定所述目标数据的存储方式;

存储处理单元,用于根据确定出的存储方式,对所述目标数据进行存储处理。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于爱信诺征信有限公司;航天信息系统工程(北京)有限公司,未经爱信诺征信有限公司;航天信息系统工程(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202011446652.X/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top