“kafka”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果1397个，建议您升级VIP下载更多相关专利

[发明专利]KAFKA主题监控方法、装置、电子设备及存储介质-CN201811537835.5有效
发明人：陈东杰 -专利权人：中国平安人寿保险股份有限公司
申请日： 2018-12-15 - 公布日： 2023-04-11 - 主分类号： G06F11/30 文献下载
摘要：本发明提供一种KAFKA主题监控方法、装置、电子设备及存储介质。所述KAFKA主题监控方法包括：当接收到KAFKA主题监控指令时，采用配置脚本调用kafka‑topics源代码；获取KAFKA主题名称；根据所述KAFKA主题名称，执行所述kafka‑topics源代码，得到当前KAFKA主题数；获取配置KAFKA主题数；对比所述当前KAFKA主题数及所述配置KAFKA主题数；当所述当前KAFKA主题数小于所述配置KAFKA主题数时，输出报警信息。本发明能避免出现KAFKA主题缺失现象，实现及时预警，提高了运维效率。
kafka 主题监控方法装置电子设备存储介质

[发明专利]信息发送方法、生产者设备及计算机可读存储介质-CN202310935914.6在审
发明人：阮振锋;贺柳;李宪杰;李荣福;易阳锋;陈镇浩;刘家辉;潘才捷;刘梦茹;黄鸿宇 -专利权人：中国联合网络通信集团有限公司
申请日： 2023-07-27 - 公布日： 2023-10-10 - 主分类号： G06F9/54 文献下载
摘要：本申请提供一种信息发送方法、生产者设备及计算机可读存储介质，涉及通信领域，能够使kafka系统中的生产者设备将一个消息发送至多个kafka集群。该方法应用于kafka系统中的生产者设备，该方法包括：获取目标信息和多个目标kafka实例标识；从多个kafka实例中确定多个目标kafka实例；目标kafka实例的kafka实例标识为目标kafka实例标识；向每个目标kafka实例对应的kafka集群发送目标信息。
信息发送方法生产者设备计算机可读存储介质

[发明专利]kafka消息的处理方法、装置、电子设备和存储介质-CN202310913130.3在审
发明人：黄河峰 -专利权人：中国银行股份有限公司
申请日： 2023-07-24 - 公布日： 2023-10-20 - 主分类号： G06F9/54 文献下载
摘要：本申请提供一种kafka消息的处理方法、装置、电子设备和存储介质，可用于分布式领域。该方法应用于服务器，服务器中部署软件框架，软件框架包括kafka监听器、kafka解析器和核心控制器，方法包括：kafka监听器响应监听到来自kafka服务的kafka消息，调用kafka解析器对kafka消息进行上文解析，得到kafka上下文；kafka监听器调用核心控制器对kafka上下文进行处理，得到处理结果。本申请实施例提供的方法，使得kafka消息可以接入BFW架构中，丰富BFW架构可接入的类别。
kafka 消息处理方法装置电子设备存储介质

[发明专利]一种kafka服务访问方法-CN202210767439.1有效
发明人：苑海林;张森;柏建冈 -专利权人：北京华御数观科技有限公司
申请日： 2022-06-30 - 公布日： 2023-10-17 - 主分类号： H04L67/566 文献下载
摘要：本发明公开一种kafka服务器访问方法，客户端以kafka代理服务为媒介访问kafka服务，其中，客户端访问kafka代理服务，kafka代理服务将客户端的数据转发至kafka服务，kafka服务对客户端数据进行反馈，kafka代理服务将反馈信息中元数据的发布域名修改为客户端数据中的链路服务端IP，将元数据中的端口改为kafka代理服务的代理端口，而客户端通过修改后的元数据访问kafka服务。本发明中访问kafka服务器的客户端无需配置域名解析即可实现对kafka服务器的访问。
一种 kafka 服务访问方法

[发明专利]Kafka集群的数据传送方法和装置-CN201710090095.4有效
发明人：杨玉奇;杨从安;张宇平 -专利权人：北京数字联盟网络科技有限公司
申请日： 2017-02-20 - 公布日： 2019-06-25 - 主分类号： H04L29/08 文献下载
摘要：本发明提供了一种Kafka集群的数据传送方法和装置。其中Kafka集群的数据传送方法，该方法包括：调用预设的Kafka连接状态接口，以利用Kafka连接状态接口获取Kafka集群的连接状态标识；识别连接状态标识对应的Kafka集群的数据连接状态；在数据连接状态为Kafka集群中所有服务器均无法连接的情况下，停止向Kafka集群传送数据。通过Kafka连接状态接口可以判断Kafka集群的连接状态，可以及时发现Kafka集群的异常连接情况，并停止进行数据传输，降低缓存中的本地消息队列中数据丢失的风险，从而提高了Kafka集群的可靠性。
kafka 集群数据传送方法装置

[发明专利]一种基于kafka-connect的数据传递方法-CN202011210831.3在审
发明人：曹小明;叶思斯;张华兵;黄海英;林志达;衡星辰 -专利权人：南方电网数字电网研究院有限公司;中国南方电网有限责任公司
申请日： 2020-11-03 - 公布日： 2021-03-26 - 主分类号： H04L29/08 文献下载
摘要：本发明公开了一种基于kafka‑connect的数据传递方法，包括：生成与源kafka的topic对应的kafka‑connector，并通过kafka‑connector生成对应的task任务；task任务监听该源kafka的topic是否有数据变化；如果确定task任务监听该源kafka的topic有数据变化，则判断源kafka是否与目标kafka联通；如果源kafka与目标kafka联通，执行推送数据到目标kafka的逻辑，并通过kafka‑connector记录对应的推送位置。通过上述方式，本发明所公开的基于kafka‑connect的数据传递方法能够使得信息数据的推送效率高，接近于实时推送，而且会自动记录推送的位置，在断开之后重新连接，会在对应的位置重新续上，大大提升了用户的体验
一种基于 kafka connect 数据传递方法

[发明专利]一种kafka数据准实时查询方法、装置、电子设备及介质-CN202211713863.4在审
发明人：冯中原;王军博;李成其;姜霄;苗泽;张小雪 -专利权人：中国石油化工股份有限公司;石化盈科信息技术有限责任公司
申请日： 2022-12-29 - 公布日： 2023-06-30 - 主分类号： G06F16/242 文献下载
摘要：本发明涉及大数据技术，揭露了一种kafka数据准实时查询方法，包括：对kafka数据添加预设的消息头字段，将kafka数据的消息体作为独立字段，将消息头字段及独立字段进行字段重组，得到更新kafka数据；按照hive表的存储结构将更新kafka数据导入至分布式文件系统中，得到存储kafka数据；将存储kafka数据映射至预先构建的hive外部表中，得到映射kafka数据，利用消息头字段中的offest字段对映射kafka数据的连续性进行校验，得到连续kafka数据；对连续kafka数据进行实时查询。本发明还提出一种kafka数据准实时查询装置、电子设备以及存储介质。本发明可以降低kafka数据进行查询时的资源消耗。
一种 kafka 数据实时查询方法装置电子设备介质

[发明专利]kafka消息存储系统、方法、装置及计算机可读存储介质-CN201911264838.0有效
发明人：杨森 -专利权人：贝壳找房(北京)科技有限公司
申请日： 2019-12-11 - 公布日： 2021-01-05 - 主分类号： H04L29/08 文献下载
摘要：本公开的实施例公开了一种kafka消息存储系统、方法、装置及计算机可读存储介质。该系统包括：kafka消息生产端、网页服务器、消息处理服务器和至少一个kafka集群；其中，kafka消息生产端，用于生成网页服务器支持的kafka消息存储请求报文，并将kafka消息存储请求报文发送给网页服务器；网页服务器，用于将kafka消息存储请求报文转发给消息处理服务器；消息处理服务器，用于根据kafka消息存储请求报文，向至少一个kafka集群中的第一kafka集群中存储相应kafka消息。与现有技术相比，本公开的实施例中，kafka消息的存储实现起来非常便捷，且能够摆脱必须安装特定扩展包的限制。
kafka 消息存储系统方法装置计算机可读存储介质

[发明专利]基于kafka集群的数据写入方法、装置、电子设备、存储介质-CN201911151860.4有效
发明人：董延峰 -专利权人：江苏满运软件科技有限公司
申请日： 2019-11-21 - 公布日： 2022-10-04 - 主分类号： G06F16/25 文献下载
摘要：本发明提供一种基于kafka集群的数据写入方法、装置、电子设备、存储介质，基于kafka集群的数据写入方法包括：监控kafka调用接口中数据量的产生速度；判断所述kafka调用接口中数据量的产生速度是否大于预定阈值；若判断所述kafka调用接口中数据量的产生速度小于等于预定阈值，则将所述kafka调用接口中数据直接发送至kafka集群；若判断所述kafka调用接口中数据量的产生速度大于预定阈值，则将所述kafka调用接口中产生的数据写入本地文件中，由所述本地文件将述本地文件中储存的数据发送至所述kafka集群。本发明提供的方法及装置通过对kafka集群的数据写入的控制，避免kafka集群不可用的不同时，不影响业务程序的正常运行。
基于 kafka 集群数据写入方法装置电子设备存储介质

[发明专利]数据消费方法、装置、电子设备、存储介质及程序产品-CN202211379891.7在审
发明人：关鑫;关振宇;朱家强;郑为锋 -专利权人：拉卡拉支付股份有限公司
申请日： 2022-11-04 - 公布日： 2023-01-31 - 主分类号： G06F9/54 文献下载
摘要：本公开实施例公开了一种数据消费方法、装置、电子设备、存储介质及程序产品，所述方法包括：向Kafka服务端请求分配Kafka分区；接收到所述Kafka服务器返回的已分配Kafka分区的信息后，从已分配的所述Kafka分区消费数据，同时监听已分配的Kafka分区的重分配事件；在监听到所述Kafka分区的重分配事件后，获取从所述Kafka分区消费但是未提交的目标数据；将所述目标数据清除，并在Kafka分区重新分配完成后，重新从所述Kafka分区消费所述目标数据。通过这种方式，可以避免Kafka分区发生分区重分配事件后的数据重复消费问题。
数据消费方法装置电子设备存储介质程序产品

[发明专利]一种可视化部署并管理kafka集群的方法-CN201911219115.9在审
发明人：王爽 -专利权人：紫光云（南京）数字技术有限公司
申请日： 2019-12-03 - 公布日： 2020-05-08 - 主分类号： H04L12/24 文献下载
摘要：本发明的一种可视化部署并管理kafka集群的方法，包括如下步骤：S1：用户在可视化服务中输入kafka需要安装到的主机信息、kafka集群的配置信息以及zookeeper配置信息，安装请求发送到后台的安装服务；S2：安装服务通过脚本形式将安装包推送到主机中，进行kafka集群的安装，用户在可视化服务中进行是否安装kafka‑manager的选择；S301：用户选择安装kafka‑manager，安装服务在主机资源中自动安装一个新的kafka‑manager的实例并完成对该kafka集群的纳管；S302：用户未选择安装kafka‑manager，安装服务提供一个该集群对应的kafka‑manager的web页面入口地址，用户通过kafka‑manager页面来完成对该kafka集群的管理。该方法能够通过可视化手段一键部署并管理kafka集群，并且可以选择集群管理方式。
一种可视化部署管理 kafka 集群方法

[发明专利]kafka消息的测试方法、装置、计算机设备及存储介质-CN201910801855.7有效
发明人：王国彬;胡鹏;董虎 -专利权人：深圳市彬讯科技有限公司
申请日： 2019-08-28 - 公布日： 2023-07-04 - 主分类号： G06F11/36 文献下载
摘要：本发明公开了一种kafka消息的测试方法、装置、计算机设备及存储介质，所述方法包括：接收来自测试界面应用程序的kafka消息测试数据的测试请求；kafka消息测试数据包括主题和测试请求信息；通过预设的kafka测试模板，将主题和测试请求信息转换成kafka测试数据；根据预设的测试要求并通过测试通用接口将kafka测试数据发送至预设的kafka集群；接收反馈的kafka测试接收消息，将kafka测试接收消息存储至数据库，与主题关联；将与主题关联的所有kafka测试接收消息发送至测试界面应用程序进行展示；在展示的所有kafka测试接收消息中包含与主题和测试请求信息一致的kafka测试接收消息时，确认测试成功。如此，实现快速地输入kafka测试消息，根据测试要求快速构造测试接口及发送，节省测试成本。
kafka 消息测试方法装置计算机设备存储介质

[发明专利]基于DB轻量级KAFKA管理及定时任务队列系统-CN202111297966.2在审
发明人：黄海平 -专利权人：深圳市坤同智能仓储科技有限公司
申请日： 2021-11-04 - 公布日： 2022-01-21 - 主分类号： G06F9/48 文献下载
摘要：本发明公开了一种基于DB轻量级KAFKA管理及定时任务队列系统，kafka工具包，微服务消息生产者集群、微服务消息消费者集群、kafka信息管理服务集群、kakfa定时延迟任务服务集群和自动预警平台；kafka工具包插入到移动终端，用户请求启动kafka工具包的同时，微服务消息生产集群和微服务消息消费者集群也同时启动；并且在微服务消息生产集群和微服务消息生产者集群两者启动之前，kafka工具包向kafka信息管理服务集群申请校验主题；kafka信息管理服务集群通过kafka工具包的校验接口，利用超文本传输协议调用校验接口并验证使用的主题是否在kafka集群信息库中，如果不在则该主题为非法，kafka工具包将被禁止启动，若校验成功，则kafka工具包则可正常使用。
基于 db 轻量级 kafka 管理定时任务队列系统

[发明专利]一种将Kafka长连接消费转换成服务的方法-CN202011517727.9有效
发明人：陈古文;翁庄明;彭本;包芃;李思欣 -专利权人：广州华资软件技术有限公司
申请日： 2020-12-21 - 公布日： 2022-06-28 - 主分类号： H04L67/141 文献下载
摘要：本发明涉及一种将Kafka长连接消费转换成服务的方法，包括如下步骤：服务发布方进行Kafka消费服务发布；所述Kafka消费服务以Web Service接口开放；服务请求方进行服务请求调用，且传入需要消费的topic名称和消费组的ID；Kafka的服务引擎创建Kafka消费者；Kafka消费者采用长连接方式从Kafka集群获取长连接数据包；Kafka的服务引擎从Kafka消费者获取短连接数据包；将短连接数据包提供给本发明，当Kafka消费过程采用长连接的方式时，将长连接消费转换成短连接服务，使得Kafka消费方式由长连接方式改成短连接方式，统一了生产和消费的连接方式，实现了把Kafka集群中生产和消费的行为开放成
一种 kafka 连接消费转换成服方法

[发明专利]KAFKA消息队列数监控方法、装置、电子设备及存储介质-CN201811537508.X在审
发明人：陈东杰 -专利权人：中国平安人寿保险股份有限公司
申请日： 2018-12-15 - 公布日： 2019-05-17 - 主分类号： G06F11/30 文献下载
摘要：本发明提供一种KAFKA消息队列数监控方法、装置、电子设备及存储介质。所述KAFKA消息队列数监控方法包括：当接收到KAFKA消息队列数监控指令时，定义指定全局变量；获取KAFKA的集群名称；引用所述指定全局变量，根据所述集群名称执行消费者信息脚本，得到KAFKA初始运行数据；对所述KAFKA初始运行数据进行中文格式化，得到KAFKA运行数据；输出所述KAFKA运行数据；从所述KAFKA运行数据中调取当前消息队列数；当所述当前消息队列数大于或者等于第一预设值时，发出警报。本发明能在KAFKA中的数据无法更新时进行及时预警，提高运维效率。
消息队列运行数据存储介质电子设备全局变量集群监控消费者信息格式化监控指令脚本调取预设运维警报引用预警输出中文更新

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 1397 条