[发明专利]基于ElasticSearch和Hbase技术的网络传输数据存储系统在审
| 申请号： | 201811484698.3 | 申请日： | 2018-12-06 |
| 公开（公告）号： | CN109614401A | 公开（公告）日： | 2019-04-12 |
| 发明（设计）人： | 龚虹瑞;王永程;夏延钊;刘明明;杨家红;邱祥吉 | 申请（专利权）人： | 航天恒星科技有限公司 |
| 主分类号： | G06F16/22 | 分类号： | G06F16/22;G06F16/215;G06F16/2455;G06F16/27 |
| 代理公司： | 北京善任知识产权代理有限公司 11650 | 代理人： | 王大方;金杨 |
| 地址： | 100083 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明基于ElasticSearch和Hbase技术的网络传输数据存储系统，包括：Kafka模块，用于对网络传输数据进行接入和发布；Flume数据处理模块，包括：Flume Interceptors单元，用于对Kafka模块发布的网络传输数据解析为JSON格式，并进行数据处理；Channel选择单元，用于为每种数据类型定义特定的通道，及将Flume Interceptors单元处理后的网络传输数据按数据类型推送至对应通道；Flume Channel单元，用于接收及根据数据类型将网络传输数据传输；HBase Sink存储单元，用于根据设定的存储结构将网络传输数据中的元数据结合原始报文存储到HBase中；ES Sink存储单元，用于将提取的网络传输数据中的元数据存储到ES中。本发明接入处理速度和数据检索响应提高，实现快速的数据传输和存储，有效解决网络数据的快速存储及合理存储问题。 | ||
| 搜索关键词： | 网络传输数据 存储单元 存储系统 数据类型 存储 数据处理模块 数据类型定义 元数据存储 存储结构 存储问题 单元处理 接入处理 快速存储 数据传输 数据检索 网络数据 选择单元 有效解决 原始报文 数据处理 元数据 推送 发布 解析 传输 响应 | ||
【主权项】：
1.基于ElasticSearch和Hbase技术的网络传输数据存储系统，其特征在于，包括：Kafka模块，用于对网络传输数据进行接入和发布；Flume数据处理模块，包括Flume Interceptors单元、Channel选择单元、Flume Channel单元、HBase Sink存储单元、ES Sink存储单元；所述Flume Interceptors单元，用于对Kafka模块发布的网络传输数据解析为JSON格式，并进行数据处理，包括增加消息序列、增加时间戳、增加DataRowkey；所述Channel选择单元，用于为每种数据类型定义特定的通道，及将Flume Interceptors单元处理后的网络传输数据按数据类型推送至对应通道；所述Flume Channel单元，用于接收Channel选择单元的各通道推送的网络传输数据并缓存，并根据数据类型将网络传输数据传输至HBase Sink存储单元或ES Sink存储单元；所述HBase Sink存储单元，用于根据设定的存储结构将网络传输数据中的元数据结合原始报文存储到HBase中；所述ES Sink存储单元，用于将提取的网络传输数据中的元数据存储到ES中。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于航天恒星科技有限公司，未经航天恒星科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811484698.3/，转载请声明来源钻瓜专利网。
