[发明专利]一种自适应的时间序列数据查询方法有效
申请号: | 201710051701.1 | 申请日: | 2017-01-20 |
公开(公告)号: | CN106844666B | 公开(公告)日: | 2020-07-31 |
发明(设计)人: | 曹朝;张林;曲大成 | 申请(专利权)人: | 北京理工大学 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/22;G06F16/2453;G06F16/248 |
代理公司: | 北京正阳理工知识产权代理事务所(普通合伙) 11639 | 代理人: | 毛燕 |
地址: | 100081 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 自适应 时间 序列 数据 查询 方法 | ||
一种自适应的时间序列数据查询方法,属于大数据以及数据库技术领域。核心内容是构建基于摘要的时间序列数据索引,需要查询时,首先查找查询范围内的节点并加入查询结果数组,即首先在用户要求的时延内,返回一个粗糙的查询结果;再遍历查询结果数组中的所有节点,判断是否有不满足误差要求需要细化查询的节点,并根据判断结果进行细化查询与否的相应操作;即不断细化不满足用户查询要求的部分,最终保证全部查询结果达到用户查询要求,最后更新查询结果数组。本方法可按照不同查询精度查询展示而且查询结果只搜索索引结构,相比每次查询扫描原始数据数据量大大减小,确保在用户规定的时间延迟内返回查询结果,确保可视化方法高效。
技术领域
本发明涉及一种自适应的时间序列数据查询方法,属于大数据以及数据库技术领域。
背景技术
时间序列数据表示由传感器网络、金融市场、医疗保健、监控和其他诸多领域中产生的流式数据。随着高频流式数据源的激增,迫切需要针对大量数据的交互式分析和实时可视化技术。例如趋势分析、模式识别、相关性分析、交互式数据发现等。
一个时间序列数据可视化的典型例子是显示一个传感器在特定时间范围的值。现在的可视化工具处理该问题,一般分为两种方法:第一种首先从数据库中查询所有满足条件的值,交由可视化模块渲染展示。这种方式需要反馈大量数据从而导致数据传输过程中消耗很大的带宽进而造成很高的延迟。第二种是首先在对查询的结果进行数据压缩,然后返回给可视化模块,这样可以极大的减少数据传输过程中的带宽消耗,但是在压缩数据时,仍然需要扫描所有符合查询条件的数据,这个过程时间代价仍然很高。为了降低扫描压缩数据的时间,可以利用数据摘要算法来压缩时间序列数据的存储量。但两种方法都具有查询时延长、数据传输量大的缺陷。
发明内容
本发明的目的旨在解决目前常用可视化方法在处理海量时间序列数据时,遇到的查询时延长、数据传输量大的缺陷,提出了一种自适应的时间序列数据查询方法。
本发明一种自适应的时间序列数据查询方法,核心内容是构建基于摘要的时间序列数据索引,需要查询时,首先查找查询范围内的节点并加入查询结果数组,即首先在用户要求的时延内,返回一个粗糙的查询结果;再遍历查询结果数组中的所有节点,判断是否有不满足误差要求需要细化查询的节点,并根据判断结果进行细化查询与否的相应操作;即不断细化不满足用户查询要求的部分,最终保证全部查询结果达到用户查询要求,最后更新查询结果数组。确保了可视化方法准确高效,而且索引结构构建立一次,可供多次查询使用。
一种自适应的时间序列数据查询方法,通过以下步骤实现:
步骤1:建立基于摘要的时间序列数据树状索引结构,具体包括:
步骤1.1基于时间序列数据,初始化系统参数;
其中,系统参数包括时间序列标号、分段最大误差以及树状索引结构中间节点的子节点个数基准、时间序列片段数组;
其中,时间序列标号,记为i,代表时间序列数据T中第i个时刻,此第i个时刻的值记为vi,第i时刻记为ti,下标i是大于等于0的整数;将原始时间序列分段时最大的误差,即分段最大误差记为ε;树状索引结构中间节点的子节点个数基准记为B,B是一个大于0的整数;时间序列片段数组,记为U,初始化为空;
步骤1.2:对时间序列数据进行分段,输出时间序列片段并保存到时间序列片段数组中;对时间序列数据进行分段可以按照等间隔分段,还可以按照不等间隔分段;
步骤1.3:采用拟合函数对步骤1.2输出的每一段时间序列片段进行拟合,得到每一段时间序列片段的数据摘要信息;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京理工大学,未经北京理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710051701.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种具有恒温控制功能的叶黄素储罐
- 下一篇:一种用于整理料管的料盘
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置