[发明专利]一种流数据滑动窗口聚集查询方法有效
申请号: | 201710549374.2 | 申请日: | 2017-07-07 |
公开(公告)号: | CN109213778B | 公开(公告)日: | 2023-07-18 |
发明(设计)人: | 王桂玲;韩燕波 | 申请(专利权)人: | 北方工业大学 |
主分类号: | G06F16/242 | 分类号: | G06F16/242;G06F16/2455;G06F16/25 |
代理公司: | 北京泛华伟业知识产权代理有限公司 11280 | 代理人: | 王勇 |
地址: | 100041 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 滑动 窗口 聚集 查询 方法 | ||
1.一种流数据滑动窗口聚集查询方法,包括:
1)根据客户端的请求,在客户端与服务端之间建立HTTP长连接;
2)在所述长连接的存续期间,由所述服务端根据所述请求向所述客户端推送滑动窗口中的数据,包括:
2-1)所述服务端根据用于采集流数据的监测点数目u、以及所述滑动窗口的数据量n,选择用于对流数据进行处理的计算模型,包括:
2-11)所述服务端根据所述监测点数目u、所述滑动窗口的数据量n、以及预置的延迟查询表,选择服务响应的延迟最小的计算模型;
2-12)所述服务端根据所述监测点数目u、所述滑动窗口的数据量n,利用延迟L与u和n的关系,计算出计算模型所对应的服务响应的延迟大小,其中所述延迟L与u和n的关系为:L=A×n+B×u+C,其中A、B、C为待确定的参数,A是n与L之间的斜率,B是u与L之间的斜率,C是直线的截距。
2.根据权利要求1所述的方法,其中还包括:
3)当出现以下情况时,关闭所述HTTP长连接,服务端释放为所述客户端分配的资源:
所述服务端收到来自所述客户端的要求关闭连接的信息;或者
所述服务端发送要求关闭连接的信息到达客户端;或者
所述服务端检测到所述客户端已关闭。
3.根据权利要求1所述的方法,所述计算模型包括以下一种或多种:Esper、Hadoop、Storm、Spark。
4.根据权利要求1所述的方法,其中,
所述延迟查询表所存储的表项被用于确定在相应的u、和n下服务响应的延迟最小的计算模型。
5.根据权利要求4所述的方法,其中所述延迟查询表所存储的表项为通过对在相应的u、和n下各个计算模型的真实延迟进行检测而确定。
6.根据权利要求1所述的方法,其中步骤2-1)还包括:
2-13)根据计算获得的结果,选择用于对流数据进行处理的计算模型。
7.根据权利要求1所述的方法,其中所述参数A、B、C通过最小二乘法的方式以以下步骤计算获得:
2-12a)对中的参数A、B、C分别求导,并求导的结果等于0;
2-12b)对下述方程组进行求解,计算参数A、B、C,
2-12c)利用所获得的参数A、B、C以及L=A×n+B×u+C,确定所述计算模型的延迟;
其中,i表示针对计算模型的第i组测量的标号,ui表示针对计算模型的第i组测量时所采用的监测点数目,ni表示针对计算模型的第i组测量时所采用的滑动窗口的数据量,Li表示针对计算模型的第i组测量时实际发生的延迟。
8.一种计算机可读存储介质,其中存储有计算机程序,所述计算机程序在被执行时用于实现如权利要求1-7中任意一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北方工业大学,未经北方工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710549374.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种报表展现方法和装置
- 下一篇:一种查询命名及复用支撑系统和方法
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置