[发明专利]一种流式数据统计算法及装置在审

专利信息
申请号: 201610086288.8 申请日: 2016-02-15
公开(公告)号: CN107085576A 公开(公告)日: 2017-08-22
发明(设计)人: 宋阳阳;马乐乐;胡闽 申请(专利权)人: 阿里巴巴集团控股有限公司
主分类号: G06F17/30 分类号: G06F17/30
代理公司: 北京国昊天诚知识产权代理有限公司11315 代理人: 许志勇,刘戈
地址: 英属开曼群岛大开*** 国省代码: 暂无信息
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 数据 统计 算法 装置
【权利要求书】:

1.一种流式数据统计算法,其特征在于,包括:

当接收到数据包时,获取所述数据包的统计信息,并判断预设的统计区内是否存在与所述统计信息相匹配的统计单元;其中,所述统计区包含预定数量的统计单元,每个统计单元用于记录所接收到的某一数据包的所有统计信息以形成的存储信息;

若为否,且不存在存储信息为空的统计单元,则按照预设策略在所述统计区内选择一个统计单元作为替换统计单元,并以所述统计信息更新所述替换统计单元的存储信息。

2.如权利要求1所述的方法,其特征在于,所述存储信息包括统计单元的识别标识和参数值;所述统计信息包括所述数据包的识别标识以及所述数据包对应的统计权重。

3.如权利要求2所述的方法,其特征在于,所述方法还包括:

根据每一统计单元的所述参数值更新所述统计区内统计单元的排序;

当预设时间间隔内接收到的数据包均被执行所述判断后,根据所述排序的结果进行topN的选取操作。

4.如权利要求2所述的方法,其特征在于,判断预设的统计区内是否存在与所述统计信息相匹配的统计单元,具体包括:

查询所述统计区内每一统计单元的识别标识是否与所述数据包的识别标识与一致,若一致,则判定预设的统计区内存在与所述统计信息相匹配的统计单元。

5.如权利要求2所述的方法,其特征在于,以所述统计信息更新所述替换统计单元的存储信息,具体包括:

以所述数据包的识别标识替换所述统计单元的识别标识,并以所述数据包的统计权重替换所述统计单元的参数值。

6.如权利要求2所述的方法,其特征在于,判断预设的统计区内是否存在与所述统计信息相匹配的统计单元,进一步包括:

若为否,且存在存储信息为空的统计单元,以所述统计信息更新所述存储信息为空的统计单元。

7.如权利要求6所述的方法,其特征在于,以所述统计信息更新所述存储信息为空的统计单元,具体包括:

以所述数据包的识别标识更新所述统计单元的识别标识,并将所述数据包的统计权重赋值与所述统计单元的参数值。

8.如权利要求2所述的方法,其特征在于,判断预设的统计区内是否存在与所述统计信息相匹配的统计单元,进一步还包括:

若为是,则根据所述统计信息更新相应的统计单元的参数值。

9.如权利要求8所述的方法,其特征在于,根据所述统计信息更新相应的统计单元的存储信息,具体包括:

将所述数据包的统计权重累加至所述统计单元的参数值。

10.如权利要求2所述的方法,其特征在于,所述预设策略包括:

选择所述统计区内,一定时间范围内未进行参数值更新的统计单元;或,选择所述统计区内,上一次更新时刻距离当前时刻的时间差值最大的统计单元;或,选择所述统计区内,最小参数值对应的统计单元。

11.如权利要求2所述的方法,其特征在于,按照预设策略在所述统计区内选择一个统计单元作为替换统计单元,进一步包括:

分割所述统计区为第一区和第二区,其中所述第一区内任一统计单元的排序参考值大于预设门限值,第二区内任一统计单元的排序参考值小于等于所述预设门限值,其中,所述排序参考值包括一定时间范围的统计单元的参数值、更新频率或上一次更新时刻;

按照预设策略在所述第二区内选择一个统计单元作为替换统计单元,所述预设策略包括:

选择所述第二区内一定时间范围内未进行参数值更新的统计单元;或,选择所述第二区内,上一次更新时刻距离当前时刻的时间差值最大的统计单元;或,选择所述第二区内,最小参数值对应的统计单元。

12.如权利要求1或6或8所述的方法,其特征在于,所述方法进一步包括,

当根据所述统计信息更新相应的统计单元的存储信息时,记录每个所述统计单元的更新时刻并计算每个所述统计单元在所述一定时间范围内的更新频率。

13.如权利要求3所述的方法,其特征在于,根据每一统计单元的所述参数值更新所述统计区内统计单元的排序,进一步包括:

当检测到任一所述统计单元有参数值更新时,根据更新后的所述参数值对所述统计区内的统计单元进行排序。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201610086288.8/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top