“streaming ”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果185个，建议您升级VIP下载更多相关专利

[发明专利]一种基于Spark_Streaming程序的运行环境控制方法-CN201910687806.5在审
发明人：霍键聪;闵宇;胡新勇 -专利权人：广东睿江云计算股份有限公司
申请日： 2019-07-29 - 公布日： 2019-11-22 - 主分类号： G06F8/65 文献下载
摘要：一种基于Spark_Streaming程序的运行环境控制方法,包括Sprak Streaming框架、HDFS文件系统和配置文件,所述Sprak Streaming框架实时分析Spark_Streaming程序，并通过所述HDFS文件系统动态读取实时所述配置文件，实时修改Spark Streaming程序的运行环境。本发明提出一种基于Spark_Streaming程序的运行环境控制方法，通过在Spark_Streaming实时分析程序中，动态读取配置文件来实时更新运行环境配置，达到节省部署时间、节省计算资源、无需考虑数据多重分发问题和保持程序实时性的效果
配置文件运行环境动态读取实时分析文件系统运行环境配置计算资源实时更新实时修改实时性分发部署

[发明专利]读取RabbitMQ数据的方法及装置-CN201811311846.1有效
发明人：刘丹;张殿臣;潘竞旭;田宜喜;张玉魁;宋颖 -专利权人：航天信息股份有限公司
申请日： 2018-11-06 - 公布日： 2023-05-16 - 主分类号： G06F9/54 文献下载
摘要：本发明涉及大数据技术领域，公开了一种基于Spark Streaming读取RabbitMQ数据的方法及装置，用于实现Spark Streaming从RabbitMQ数据读取数据进行处理，使Spark Streaming接收到的数据流更加稳定和准确，并且避免了Spark Streaming停止运行后数据的丢失。所述方法包括：通过RabbitMQ的接收器Receiver读取所述RabbitMQ中的数据，并将所述数据存储在指定内存中；通过Spark Streaming的Receiver从所述指定内存中读取所述数据
读取 rabbitmq 数据方法装置

[发明专利]Spark Streaming程序的运行系统及方法-CN201911197734.2在审
发明人：周朝卫 -专利权人：中盈优创资讯科技有限公司
申请日： 2019-11-29 - 公布日： 2020-05-08 - 主分类号： G06F9/48 文献下载
摘要：本发明公开了一种Spark Streaming程序的运行系统及方法，其中，该系统包括：多个节点，多个节点处于候选节点队列中，每个节点上安装有Spark Streaming程序；在多个节点中确定一个协调节点；在候选节点队列中选取第一节点运行Spark Streaming程序；接收候选节点队列中各个节点发送的状态信息，确定故障节点；将故障节点从候选节点队列中删除，得到目标候选节点队列；当运行Spark Streaming程序的节点故障时，在目标候选节点队列中选取第二节点运行Spark Streaming程序，本发明可以实现Spark Streaming程序的稳定运行。
spark streaming 程序运行系统方法

[发明专利]Spark批次时间修改方法、装置、设备和存储介质-CN202010303592.X有效
发明人：王成龙 -专利权人：上海中通吉网络技术有限公司
申请日： 2020-04-17 - 公布日： 2023-09-15 - 主分类号： G06F9/54 文献下载
摘要：本发明涉及一种Spark Streaming任务中批次时间修改方法、装置、设备和存储介质，该方法包括：监测处于运行状态的Spark Streaming任务；在Spark Streaming任务中嵌入restful接口服务；在restful接口服务中修改Spark Streaming任务中的批次时间。不修改实时任务代码的情况下，实现运行中的Spark Streaming任务批次时间的动态修改，操作方便快速，毫秒级生效；几乎不会影响线上的业务数据，可保证实时数据不丢失。
spark 批次时间修改方法装置设备存储介质

[发明专利]一种基于大数据分布式编程框架的大数据预统系统及方法-CN201610838908.9有效
发明人：程涛木;刘军徽;叶春生;车新奕;雷果;王敏 -专利权人：深圳市博瑞得科技有限公司
申请日： 2016-09-21 - 公布日： 2019-08-30 - 主分类号： G06F16/242 文献下载
摘要：本发明对Spark Streaming进行组件功能开发扩充，使得SQL语句解析后可以在Spark Streaming中运行，并结合了Spark Streaming的对数据的批处理和数据流处理优势，最终采用了Spark Streaming技术和SQL语句相结合的方式对大数据进行预统处理，使得整个系统对大数据的处理达到非常高的效率。
一种基于数据分布式编程框架系统方法

[发明专利]监控告警系统及方法-CN201910602336.8在审
发明人：张磊磊 -专利权人：上海中通吉网络技术有限公司
申请日： 2019-07-05 - 公布日： 2019-10-11 - 主分类号： H04L12/24 文献下载
摘要：本申请涉及一种监控告警系统及方法，监控告警系统包括实时管控平台、hadoop yarn平台和spark streaming平台；实时管控平台分别与所述hadoop yarn平台和spark streaming平台连接；实时管控平台包括提交模块和告警模块，提交模块用于将spark streaming平台任务提交到hadoop yarn平台；告警模块用于对hadoop yarn平台上任务进行监控和/或告警。本申请可以避免开发人员直接在spark集群提交任务由于误操作造成影响整个集群的稳定性，在streaming任务运行异常时，开发人员可通过告警模块及时了解告警消息和通知。
监控告警系统实时管控平台告警模块集群告警告警消息任务提交任务运行误操作申请开发监控

[发明专利]基于SparkStreaming的智能配电柜、节能系统及方法-CN201710481568.3在审
发明人：黎少坤;许伟伟 -专利权人：上海智建电子工程有限公司
申请日： 2017-06-22 - 公布日： 2019-01-01 - 主分类号： G05B19/418 文献下载
摘要：本发明提供了基于Spark Streaming的智能配电柜、节能系统及方法，涉及智能配电技术领域。一种基于Spark Streaming的智能配电柜，包括配电柜柜体内设置能耗监控系统，所述能耗监控系统包括处理器模块、存储器模块、通信模块、供配电数据监控模块和环境数据监控模块，所述处理器模块能够通过将实时采集和分析的数据传送至远程的Spark Streaming信息平台，所述Spark Streaming信息平台，能够针对接收的数据，用大数据分析方法分析后获取电能供应优化策略，实现节能。
智能配电柜能耗监控系统处理器模块节能系统信息平台数据监控模块存储器模块电能供应方法分析环境数据积极作用监控模块节能管理能耗监控实时采集数据传送数据中心通信模块优化策略智能配电大数据配电柜配电分析体内节能

[发明专利]一种数据处理方法、装置、设备及存储介质-CN201910778769.9在审
发明人：刘新;张小琼 -专利权人：深圳市元征科技股份有限公司
申请日： 2019-08-22 - 公布日： 2019-11-12 - 主分类号： G06F16/25 文献下载
摘要：该方法的步骤包括：接收以流数据方式传入的待处理数据；将待处理数据输入至Spark Streaming计算框架；调用Spark Streaming计算框架根据ETL数据处理逻辑对待处理数据执行相应的数据处理操作由于Spark Streaming计算框架具有分布式计算的特性，能够在相同时刻并行执行对于不同待处理数据的处理，因此Spark Streaming计算框架的数据处理效率相对较高，因此相对确保了对于流数据中海量数据进行处理时的处理效率
待处理数据存储介质数据处理流数据数据处理操作数据处理逻辑数据处理效率数据处理装置分布式计算并行执行处理数据处理效率传入的调用申请

[发明专利]用于spark streaming的资源动态分配和反馈方法及装置-CN201811482797.8在审
发明人：陆峰;覃江;黄彬;吴*飞;肖通 -专利权人：苏州思必驰信息科技有限公司
申请日： 2018-12-05 - 公布日： 2019-04-26 - 主分类号： G06F9/50 文献下载
摘要：本发明公开用于spark streaming的资源动态分配和反馈方法及装置，方法包括：响应于首次接收的spark streaming任务数据流，计算处理spark streaming任务数据流需要使用的初始资源并向资源管理器发送初始资源使用申请，其中，初始资源对应多台处理设备；基于接收的与初始资源对应的多台处理设备反馈的运行时指标数据，计算多台处理设备的负载情况；至少基于多台处理设备的负载情况，周期性地计算与spark streaming任务数据流对应的动态分配资源并向资源管理器发送动态资源分配申请
处理设备任务数据流资源动态分配资源管理器反馈申请发送动态分配资源动态资源分配计算处理首次接收指标数据资源使用运行时扩缩干预响应分配

[发明专利]一种流媒体业务的实现方法及系统-CN201010511859.0无效
发明人：王芳;钟宏 -专利权人：中兴通讯股份有限公司
申请日： 2010-10-12 - 公布日： 2011-03-09 - 主分类号： H04L29/06 文献下载
摘要：本发明公开了一种流媒体业务的实现方法及系统，所述方法包括：获取媒体码流，将其分段存储为ISO文件，并增加HTTP Streaming提示轨；其中，所述HTTP streaming提示轨中包含提取HTTP streaming业务所需要的媒体分段的相关参数。
一种流媒体业务实现方法系统

[发明专利]针对IP网络环境中Streaming业务生存性进行控制的方法-CN201210196404.3有效
发明人：赵季红;曲桦;白波 -专利权人：西安交通大学
申请日： 2012-06-14 - 公布日： 2012-10-10 - 主分类号： H04L29/06 文献下载
摘要：本发明提出一种针对IP网络环境中Streaming业务生存性进行控制的方法，首先对IP网络环境下的Streaming业务的数据包进行路径/流量统计，然后计算业务数据包所经由的每条路径的健康度，接下来在已得出的路径健康度的基础上计算该Streaming业务的整体健康度，最后根据数据库中的业务分类信息判断该业务的健康度是否符合用户对该业务的质量要求，以保证网络中的路由策略能够根据业务质量情况进行及时的调整，从而保证IP网络环境下的Streaming并且首先填补了面向业务QoS的Streaming保障机制方面的不足，增强了网络虚拟化中集中控制策略的有效性。
针对 ip 网络环境 streaming 业务生存进行控制方法

[发明专利]一种基于spark streaming的大数据流处理方法和系统-CN201610228189.9在审
发明人：杜旭苗 -专利权人：北京思特奇信息技术股份有限公司
申请日： 2016-04-13 - 公布日： 2016-09-07 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种基于spark streaming的大数据流处理方法和系统。其中方法包括：步骤S1，在约定位置处接收数据源发送的数据,若数据源为HDFS，则执行步骤S2,若数据源为FLUME，则执行步骤S3；步骤S2，将数据以文件形式存储，执行步骤S3；步骤S3，spark streaming对接收的数据或者文件进行处理；步骤S4，spark streaming按照时间间隔将文件或数据的处理结果写入结果目录。本发明在容错、数据保证方面，提供了更好的支持容错状态计算；在实现、编程API方面，以Scala编程，也支持Java；在集群管理集成方面，Spark Streaming可以运行在自己的集群上，在YARN和
一种基于 spark streaming 数据流处理方法系统

[发明专利]基于Spark Streaming的数据同步方法及系统-CN202010890529.0在审
发明人：乔智;刘建辉;孙军锋;李亚飞;汪月 -专利权人：北京明略昭辉科技有限公司
申请日： 2020-08-29 - 公布日： 2020-12-11 - 主分类号： G06F16/25 文献下载
摘要：本申请涉及一种基于Spark Streaming的数据同步方法及系统，其中，该数据同步方法包括：增量数据获取步骤，用于基于Spark Streaming获取HBase增量数据并存储至一离散数据流DStream通过本申请的数据同步方法及系统，基于Spark Streaming数据流形式增量获取数据，处理数据量小，对HBase集群访问量较小；同时于Spark Streaming数据流准实时更新，处理速度快，耗时较短
基于 spark streaming 数据同步方法系统

[发明专利]用于spark streaming的资源动态分配方法和系统-CN201811482798.2在审
发明人：陆峰;覃江;黄彬;吴*飞;肖通;杨斌 -专利权人：苏州思必驰信息科技有限公司
申请日： 2018-12-05 - 公布日： 2019-04-26 - 主分类号： G06F9/50 文献下载
摘要：本发明公开用于spark streaming的资源动态分配方法和系统，方法包括：响应于首次接收的spark streaming任务数据流，获取spark streaming任务数据流的第一数据；基于第一数据计算处理spark streaming任务数据流需要使用的初始资源，并向资源管理器发送初始资源使用申请；周期性地采集当前运行进程运行时的第二数据，基于第二数据计算需要增加或减少的运行进程的第二数量；基于运行进程的第二数量向资源管理器发送动态资源分配申请以动态增加或减少第二数量的运行进程
任务数据流资源动态分配资源管理器第一数据申请进程发送动态资源分配动态增加计算处理首次接收数据计算资源使用运行时扩缩采集干预响应分配

[发明专利]一种基于SSA-XGboost算法的大数据处理框架的动态资源分配方法-CN202211595525.5在审
发明人：李鸿健;叶华青;段小林;邹洋;熊安萍 -专利权人：重庆邮电大学
申请日： 2022-12-13 - 公布日： 2023-03-14 - 主分类号： G06F9/50 文献下载
摘要：本发明属于大数据流处理技术领域，具体涉及一种基于SSA‑XGboost算法的大数据处理框架的动态资源分配方法，包括：构建目标函数；获取Spark Streaming作业的成本模型的运行数据，并对运行数据进行清洗；采用优化后的XGboost算法对目标函数进行优化求解，得到Spark Streaming每一批次时间内所需的最佳资源大小；根据求得的最佳资源大小采用BFD算法进行Spark Streaming执行器的放置
一种基于 ssa xgboost 算法数据处理框架动态资源分配方法

1
2
3
4
5
6
7
8
9
10
11
12
13
下一页»
尾页
共 185 条