[发明专利]一种数据热度统计系统和方法有效
| 申请号： | 201710374717.6 | 申请日： | 2017-05-24 |
| 公开（公告）号： | CN108241725B | 公开（公告）日： | 2019-07-05 |
| 发明（设计）人： | 吴宏志;韩东亮 | 申请（专利权）人： | 新华三大数据技术有限公司 |
| 主分类号： | G06F16/28 | 分类号： | G06F16/28 |
| 代理公司： | 北京博思佳知识产权代理有限公司 11415 | 代理人： | 林祥 |
| 地址： | 450000 河南省郑州市高新技*** | 国省代码： | 河南;41 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请提供一种数据热度统计系统和方法，该系统包括客户端和服务端，客户端包括业务解析模块和客户端接口模块，服务端包括服务端接口模块和存储模块；业务解析模块，用于获取Hive数据仓库中被查询的表/列的信息以及被查询时间；客户端接口模块，用于将获取的被查询的表/列的信息以及被查询时间发送给服务端接口模块；服务端接口模块，用于接收上述内容，统计在最近M个单位时间内所述表/列被查询的次数，将所述表/列映射到预先定义的数据访问模型；根据数据访问模型的热度阈值确定所述表/列的数据热度；存储模块，用于记录服务端接口模块接收的被查询的表/列的信息、被查询时间以及所述表/列的数据热度。 | ||
| 搜索关键词： | 服务端接口模块 查询 数据热度 客户端接口模块 数据访问模型 存储模块 统计系统 业务解析 服务端 客户端 数据仓库 预先定义 阈值确定 映射 热度 记录 申请 统计 | ||
【主权项】：
1.一种数据热度统计系统，其特征在于，包括客户端和服务端，所述客户端包括业务解析模块和客户端接口模块，所述服务端包括服务端接口模块和存储模块，其中：所述业务解析模块，用于获取Hive数据仓库中被查询的表和/或列的信息以及被查询时间；所述客户端接口模块，用于将所述业务解析模块获取的被查询的表和/或列的信息以及被查询时间发送给所述服务端接口模块；所述服务端接口模块，用于接收所述被查询的表和/或列的信息以及被查询时间；还用于在接收到统计指令或统计周期到达时，统计在最近M个单位时间内所述被查询的表和/或列的被查询次数，将所述被查询的表和/或列映射到预先定义的数据访问模型；根据所述数据访问模型的热度阈值，确定所述被查询的表和/或列的数据热度；所述M为大于0的整数；所述数据访问模型包括随机访问模型、递增访问模型、递减访问模型和周期访问模型；所述存储模块，用于记录所述服务端接口模块接收的被查询的表和/或列的信息以及被查询时间；还用于记录所述被查询的表和/或列的数据热度。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司，未经新华三大数据技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710374717.6/，转载请声明来源钻瓜专利网。
- 上一篇：一种元数据管理方法和装置
- 下一篇：移动物件的虚拟信息远距管理方法与应用系统
