[发明专利]实时流数据的存储方法及装置在审
申请号: | 201710224721.4 | 申请日: | 2017-04-07 |
公开(公告)号: | CN108694187A | 公开(公告)日: | 2018-10-23 |
发明(设计)人: | 胡信 | 申请(专利权)人: | 北京国双科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京鼎佳达知识产权代理事务所(普通合伙) 11348 | 代理人: | 王伟锋;刘铁生 |
地址: | 100086 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种实时流数据的存储方法及装置,涉及信息处理技术领域,主要目的是解决由实时系统传来的一条条数据所产生大量的parquet文件,会导致查询系统在进行查询操作时,访问所有的parquet文件,影响查询性能的问题。技术方案包括:接收实时流数据;对所述实时流数据进行解析,得到解析结果;根据所述解析结果,确定所述实时流数据的数据条数;判断所述实时流数据的数据条数是否达到预设数据条数;如果是,则将所述实时流数据的解析结果写入分布式数据查询引擎。主要用于实时流数据的存储。 | ||
搜索关键词: | 实时流 解析结果 存储 数据条 信息处理技术 分布式数据 查询操作 查询系统 查询性能 查询引擎 实时系统 预设数据 条数 解析 写入 访问 | ||
【主权项】:
1.一种实时流数据的存储方法,其特征在于,包括:接收实时流数据;对所述实时流数据进行解析,得到解析结果;根据所述解析结果,确定所述实时流数据的数据条数;判断所述实时流数据的数据条数是否达到预设数据条数;如果是,则将所述实时流数据的解析结果写入分布式数据查询引擎。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京国双科技有限公司,未经北京国双科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201710224721.4/,转载请声明来源钻瓜专利网。