|
钻瓜专利网为您找到相关结果 5339419个,建议您 升级VIP下载更多相关专利
- [发明专利]一种基于Flume的数据采集与汇聚方法-CN201911350150.4在审
-
苗君;闫正洋
-
广州如加网络科技有限公司
-
2019-12-24
-
2021-06-25
-
G06F16/215
- 本发明提供一种基于Flume的数据采集与汇聚方法,方法的步骤为:将不同格式的数据源分配至不同的采集层Flume中的source层,source层将采集到的原始数据发送给不同格式数据处理的channel层;channel层设置数据清洗规则并进行数据清洗,清洗后发送给采集层Flume的不同格式数据的sink层,sink层发送给不同格式数据的汇聚层Flume的source层;汇聚层Flume的source层获取到的数据发送给不同格式数据的汇聚层Flume的channel层;channel层将获取的汇聚数据发送至汇聚层Flume的sink层,sink层再将汇聚后的数据发送给不同的数据接收方或者由不同的接收方主动拉取汇聚层sink的数据。本发明通过把Flume分别组合为采集层和汇聚层,并通过采集层和汇聚层对应关系配置来灵活处理,实现多种数据过滤,支持接收方对多种数据接收的需求。
- 一种基于flume数据采集汇聚方法
- [发明专利]一种湖仓一体架构-CN202310511895.4在审
-
陈帅
-
上海二三四五网络科技有限公司
-
2023-05-08
-
2023-08-18
-
G06F16/28
- 本发明公开了一种数据仓库领域的湖仓一体架构,包括数据采集层、数据仓库及业务应用层;其中:数据采集层,用于采集业务数据及日志数据,并将采集到的数据传输给数据仓库;数据仓库基于数据湖实现,用于对数据采集层传输的数据进行处理分析,并将处理分析所得的数据传输给业务应用层;业务应用层,用于将数据仓库传输的数据提供给外部的业务系统,供业务系统实现对相应数据的应用。本发明的数据仓库对数据采集层采集的数据进行分析处理后,传输给业务应用层实现相应的数据应用,且数据仓库是基于数据湖实现的;可见,本发明利用数据湖实现对数据仓库的补充,从而使得数据仓库能够支持分钟级别的数据分析处理,有效提高数据分析处理的时效性。
- 一种一体架构
- [发明专利]物联网采集系统-CN202211232859.6在审
-
王晓帆;杨阳;梅林;周建欣
-
成都长城开发科技股份有限公司
-
2022-10-09
-
2023-01-20
-
H04Q9/00
- 本发明公开一种物联网采集系统,物联网采集系统包括:通信服务层,所述通信服务层与外部采集设备连接,用于接收由所述外部采集设备发送的多种网络协议类型的采集数据;协议服务层,所述协议服务层与所述通信服务层连接,用于对多种网络协议类型的采集数据进行解析处理得到可读数据,以使所述可读数据能够达到供用户参考的可读条件;管理服务层,所述管理服务层与所述协议服务层连接,用于将所述可读数据发送至目标设备,或基于预设页面端进行展示如此,本申请改善了现有技术中物联网的采集系统仅针对单一类型的采集设备开发,只支持单一通信方式接收采集数据,导致数据采集效率较低的情况,从而能够以高效的数据采集功能满足人们的生活需求。
- 联网采集系统
|