“storm”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果287个，建议您升级VIP下载更多相关专利

[发明专利]基于STORM流式计算的数据处理方法和数据处理系统-CN201910735948.4有效
发明人：何肖明 -专利权人：苏宁金融科技（南京）有限公司
申请日： 2019-08-09 - 公布日： 2022-09-06 - 主分类号： G06F11/14 文献下载
摘要：本申请涉及一种基于STORM流式计算的数据处理方法和数据处理系统。所述方法包括：STORM输入节点向STORM目标工作节点发送状态数据备份指令；STORM目标工作节点接收到状态数据备份指令时，对STORM目标工作节点的节点状态数据进行备份存储；当STORM流式计算中断时，STORM输入节点恢复STORM输入节点中最后一次备份的消息偏移量状态数据，并向STORM目标工作节点发送恢复状态数据指令；STORM目标工作节点接收到恢复状态数据指令时，从备份存储中恢复STORM目标工作节点的节点状态数据；其中，消息偏移量状态数据以及节点状态数据均用于STORM流式计算。上述方法能够在数据处理系统执行流式计算时进行数据流恢复，解决数据处理系统中STORM流式计算过程的数据丢失问题。
基于 storm 计算数据处理方法数据处理系统

[发明专利]一种storm日志错误分析方法及装置-CN201710046947.X有效
发明人：顾刚;陈曦;孙长秋 -专利权人：中移(苏州)软件技术有限公司;中国移动通信集团公司
申请日： 2017-01-20 - 公布日： 2021-03-05 - 主分类号： G06F16/18 文献下载
摘要：本发明公开了一种storm日志错误分析方法，所述方法包括：获取storm日志，为所述storm日志添加对应的级别标识；将添加所述级别标识的所有storm日志存储于设定存储区；根据所述存储区中包含错误信息的第一storm日志的级别标识中的错误级别，在日志知识库中查找与所述第一storm日志的错误级别匹配的第二storm日志，并获取所述第二storm日志所对应的错误分析，将所述错误分析作为所述第一storm日志的错误分析进行输出本发明还公开了一种storm日志错误分析装置。
一种 storm 日志错误分析方法装置

[发明专利]监控实时流计算平台的方法、装置、电子设备和存储介质-CN201811614036.3在审
发明人：蔡金鹏;蔡国兴;赵小蓉 -专利权人：北京神州泰岳软件股份有限公司
申请日： 2018-12-27 - 公布日： 2020-07-07 - 主分类号： G06F11/30 文献下载
摘要：本发明公开了一种监控实时流计算平台的方法、装置、电子设备和存储介质，方法包括：通过访问实时流计算平台Storm的UI页面获取Storm的运行状态信息，如果获取运行状态信息失败，则通过调用Storm上的RPC服务端获取Storm的运行状态信息，如果获取运行状态信息失败，则通过分析Zookeeper中记录的由Storm回写的信息获取Storm的运行状态信息。本发明实施例通过以上三个渠道，按顺序依次尝试获取信息进行监控，只要有一个渠道能够获取到Storm集群和Topology的状态即可，提高了对Storm集群状态监控的查询性能和准确性，避免了监控不准的问题。
监控实时计算平台方法装置电子设备存储介质

[发明专利]一种面向实时大数据平台Storm的属性抽取系统-CN201610040260.0有效
发明人：张卫山;段鹏程;宫文娟;卢清华;李忠伟 -专利权人：青岛邃智信息科技有限公司
申请日： 2016-01-18 - 公布日： 2019-05-17 - 主分类号： H04L29/06 文献下载
摘要：本发明提出了一种面向实时大数据平台Storm的属性抽取系统，包括：搭建Storm集群环境；开启Storm集群环境；开发拓扑结构，上传拓扑任务到Storm集群；开启代码注入器，动态注入监控代码；启动监控设备上的监控器，感知Storm集群自身对象以及拓扑结构中的对象；收集Storm环境属性，存入存储设备。本发明开发了感知Storm云平台环境属性的一套具有高使用性的API，使其能够获取集群环境的状态，同时保证集群的可获得、可靠性和性能；建立了Storm运行时状态下的E‑R模型，使其能够为资源调度、包括从线程级别到虚拟机级别的瓶颈检测
一种面向实时数据平台 storm 属性抽取系统

[发明专利]一种基于流式计算引擎的实时数据处理方法及装置-CN201510089780.6在审
发明人：徐正礼;魏金雷;赵明超;臧勇真;牛硕 -专利权人：浪潮集团有限公司
申请日： 2015-02-27 - 公布日： 2015-05-13 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种基于流式计算引擎的实时数据处理方法及装置，方法包括：创建Storm的消息队列；将数据存入数据库中，并备份至所述Storm的消息队列；Storm中的Spout实时监听所述消息队列，在监听到有数据被存入所述Storm的消息队列时，拉取所述Storm的消息队列中当前被存入的数据，并将拉取的数据发送给Storm中的Bolt；Bolt根据预先获取的逻辑规则，对所述拉取的数据进行逻辑处理，以将逻辑处理后的数据更新到所述数据库中
一种基于计算引擎实时数据处理方法装置

[发明专利]一种面向实时大数据平台Storm的运行时三维可视化系统-CN201610084893.1在审
发明人：张卫山;段鹏程;李忠伟;宫文娟;卢清华 -专利权人：中国石油大学（华东）
申请日： 2016-02-02 - 公布日： 2016-06-01 - 主分类号： G06F11/30 文献下载
摘要：本发明提出了一种面向实时大数据平台Storm的运行时三维可视化系统，周期性地与Storm云环境主节点交互，感知集群节点个数和资源消耗、worker与任务线程到Storm云的物理映射、每个任务资源消耗、拓扑结构的静态结构和动态属性的状态，实现对Storm云环境内部运行状态的监控；同时，利用OpenGL在Java虚拟机上实现的JOGL开源库来实现对所获得的状态的实时可视化。本发明的面向实时大数据平台Storm的运行时三维可视化系统具有资源消耗少的特点，不会与Storm集群运行的任务争抢资源。
一种面向实时数据平台 storm 运行三维可视化系统

[发明专利]一种基于Storm的车辆预警处理系统及预警系统-CN201810030636.9在审
发明人：陈思远;李庆 -专利权人：中科院微电子研究所昆山分所
申请日： 2018-01-12 - 公布日： 2019-07-19 - 主分类号： H04L29/08 文献下载
摘要：本发明公开了一种基于Storm的车辆预警处理系统，包括：消息队列，用于接收并存储各车辆的实时状态数据，向Storm集群发送实时状态数据，接收并向车辆对应的输出设备发送实时预警信息；Storm集群，用于通过分布式大数据实时处理框架Storm对实时状态数据进行处理，得到实时预警信息，向消息队列发送实时预警信息。本发明还公开了一种基于Storm的车辆预警系统，具有上述有益效果。
实时状态数据车辆预警实时预警处理系统集群消息队列发送发送实时处理输出设备消息队列预警系统大数据存储预警

[发明专利]基于Storm的流处理方法及系统-CN201510896623.6在审
发明人：谢莹莹;郭庆;惠润海;宋怀明 -专利权人：曙光信息产业（北京）有限公司
申请日： 2015-12-08 - 公布日： 2016-05-11 - 主分类号： G06F17/30 文献下载
摘要：本发明提供了一种基于Storm的流处理方法及系统，属于数据处理技术领域。方法包括：提取数据；获取配置文件，解析配置文件中的拓扑参数，拓扑参数用于构建拓扑作业；根据拓扑参数、数据构建拓扑作业；将拓扑作业进行Storm流处理。系统包括：数据接入通用模块，用于提取数据；配置文件解析模块，用于获取配置文件，解析配置文件中的拓扑参数；Storm流处理模块，用于根据拓扑参数、数据库构建拓扑作业，将拓扑作业提交至Storm集群进行流处理本发明提供的基于Storm的流处理系统，可自动获取用户存储的数据及用户提供的配置文件，生成拓扑作业提交至Storm集群进行流处理，实现整个流处理框架中的通用组件及作业配置组装，简化、加速流处理作业开发过程
基于 storm 处理方法系统

[发明专利]基于Storm的电动车状态监控处理系统及监控系统-CN201810030082.2在审
发明人：陈思远;李庆 -专利权人：中科院微电子研究所昆山分所
申请日： 2018-01-12 - 公布日： 2019-07-19 - 主分类号： G05B19/048 文献下载
摘要：本发明公开了一种基于Storm的电动车状态监控处理系统，包括：消息总线，用于接收并向Storm集群发送电动车状态数据；Storm集群，用于通过Storm分布式大数据实时处理框架对电动车状态数据进行处理，本发明还公开了一种基于Storm的电动车状态监控系统，具有上述有益效果。
电动车状态监控处理系统监控系统集群电动车辆监控信息实时处理数据包括消息总线大数据数据库存储发送监管

[发明专利]一种用于Storm的数据分析的状态管理的方法及装置-CN201911412908.2有效
发明人：陶相全;吕小柱;邓振国 -专利权人：苏宁云计算有限公司
申请日： 2019-12-31 - 公布日： 2022-12-30 - 主分类号： G06F16/27 文献下载
摘要：本发明实施例公开了一种用于Storm的数据分析的状态管理的方法及装置，涉及计算机软件应用技术领域，能够降低因为框架功能缺陷导致的潜在风险发生概率,提高了整个计算链路的健壮性。本发明包括：通过第一Storm‑Bolt组件将中间状态数据保存到分布式数据库；当所述将中间状态数据保存到分布式数据库的过程失败，则将所述中间状态数据发送到消息中间件；通过第二Storm‑Bolt组件消费所述消息中间件中的数据，并存储至所述分布式数据库；当所述第一Storm‑Bolt组件进行crash或重启时，利用所述第二Storm‑Bolt组件消费的数据恢复所述中间状态数据。本发明适用于Storm‑Bolt组件下的重启任务后的状态数据维护。
一种用于 storm 数据分析状态管理方法装置

[发明专利]一种基于Redis的Storm的远程调用方法-CN201610492975.X在审
发明人：马自谦;范桢 -专利权人：上海浦东发展银行股份有限公司信用卡中心
申请日： 2016-06-29 - 公布日： 2016-12-07 - 主分类号： G06F9/54 文献下载
摘要：本发明涉及一种基于Redis的Storm的远程调用方法，调用客户端利用消息队列和Redis对Storm实现远程调用，所述方法包括下列步骤：调用客户端发送请求消息至消息队列；Storm从消息队列中获取请求消息并进行处理；Storm将处理后的消息结果放入Redis中；调用客户端从Redis中获取处理后的消息结果。
一种基于 redis storm 远程调用方法

[发明专利]一种storm任务管理和调度方法-CN202210053528.X有效
发明人：高晨 -专利权人：徐工汉云技术股份有限公司
申请日： 2022-01-18 - 公布日： 2023-03-28 - 主分类号： G06F8/30 文献下载
摘要：本发明公开了一种storm任务管理和调度方法，内置预先定义好的专门消费kafka的spout和不同类型的bolt，只需对bolt添加业务处理逻辑即可，同时通过web页面拖拉拽和节点连线完成拓扑设计和参数配置，通过改造的dolphinscheduler作为调度服务进行storm任务提交，使用flume采集日志文件和rabbitmq发布订阅storm日志实时消息。本发明提供的一种storm任务管理和调度方法，提升了开发效率，任务运行稳定实现了查看功能，方便了调试。
一种 storm 任务管理调度方法

[发明专利]一种兼容型的业务系统及业务实现方法-CN201710233084.7在审
发明人：徐炳松;罗诗尧 -专利权人：微梦创科网络科技（中国）有限公司
申请日： 2017-04-11 - 公布日： 2017-09-15 - 主分类号： G06F17/30 文献下载
摘要：所述兼容型的业务系统，包括GPStormClient模块，用于将用户提交的Storm任务提交到GPNimbus模块；GPNimbus模块，用于接收GPStormClient模块提交的Storm任务，调用GPTopologyTranslate模块将所述Storm任务转化为Gearpump任务，以及将所述Gearpump任务部署到Gearpump中并跟踪Gearpump任务的执行；GPTopologyTranslate模块，用于在GPNimbus模块的调用下，将接收到的Storm任务转化为相应的Gearpump任务。本发明实施例提供的兼容型的业务系统及业务实现方法，基于Gearpump且可兼容运行Storm，从而能够有效提升系统性能，节省开发成本，实现热部署。
一种兼容业务系统实现方法

[发明专利]一种大数据实时计算处理系统及方法-CN201710259497.2在审
发明人：陈思恩;廖雅哲;杨紫胜;庄晓明 -专利权人：科技谷（厦门）信息技术有限公司
申请日： 2017-04-20 - 公布日： 2017-08-08 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种大数据实时计算处理系统，包括存储单元、数据实时收集模块、数据实时治理模块、SQL函数编辑模块、SQL与STORM方言解析模块以及STORM执行引擎，数据实时收集模块用于实时收集各种类型的业务数据并将业务数据实时存储到存储单元或实时推送至数据实时治理模块，数据实时治理模块基于主动数据治理的方式对业务数据进行数据治理，SQL函数编辑模块用于根据预选定义的SQL标准规则编辑数据实时计算处理过程中所需的SQL函数，SQL与STORM方言解析模块用于根据SQL标准规则将SQL函数转换为STORM程序，STORM执行引擎用于执行STORM程序并返回结果；本发明还公开了一种大数据实时计算处理方法。
一种数据实时计算处理系统方法

[发明专利]基于Storm的RDF流式数据关键词实时搜索方法-CN201710057433.4有效
发明人：汪璟玢;陈双 -专利权人：福州大学
申请日： 2017-01-23 - 公布日： 2019-12-31 - 主分类号： G06F16/22 文献下载
摘要：本发明涉及一种基于Storm的RDF流式数据关键词实时搜索方法，其特征在于：包括Storm实时处理、Redis分布式存储和Storm实时查询；Storm实时处理的具体内容为：Storm的Spout组件接收并处理RDF本体和实例数据文件流，将处理后的RDF本体和实例数据文件流分布式存储至Redis哈希表中；所述Storm实时查询的具体内容为：客户端发送实时查询请求，服务端接收客户端的查询请求后，先检查查询缓存中是否已存在该查询请求的查询结果
基于 storm rdf 数据关键词实时搜索方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 287 条