专利名称
主分类
A 农业
B 作业;运输
C 化学;冶金
D 纺织;造纸
E 固定建筑物
F 机械工程、照明、加热
G 物理
H 电学
专利下载VIP
公布日期
2023-10-24 公布专利
2023-10-20 公布专利
2023-10-17 公布专利
2023-10-13 公布专利
2023-10-10 公布专利
2023-10-03 公布专利
2023-09-29 公布专利
2023-09-26 公布专利
2023-09-22 公布专利
2023-09-19 公布专利
更多 »
专利权人
国家电网公司
华为技术有限公司
浙江大学
中兴通讯股份有限公司
三星电子株式会社
中国石油化工股份有限公司
清华大学
鸿海精密工业股份有限公司
松下电器产业株式会社
上海交通大学
更多 »
钻瓜专利网为您找到相关结果81个,建议您升级VIP下载更多相关专利
  • [发明专利]一种将Chunjun同步任务中不同版本数据源进行隔离的方法-CN202310897279.7在审
  • 李志强;徐进挺;陈吉平 - 杭州玳数科技有限公司
  • 2023-07-20 - 2023-10-17 - G06F9/445
  • 本申请公开了一种将Chunjun同步任务中不同版本数据源进行隔离的方法,涉及数据处理技术领域,包括以下步骤:启动FlinkSession,并将Chunjun中所有Connector的Jar包分发到各个NodeManager的Container中;提交任务到FlinkSession时确定任务用到的所有Container中Connector Jar包的URL路径,并将每个URL路径转换为对应项目结构下的相对路径;运行任务时提取每个Connector Jar包名中包含的插件名称,并基于各个插件名称和相对路径构建JobManager和TaskManager的类加载器体系。本申请基于Flink计算框架构建新类加载器体系,实现了多数据源的版本兼容性,使以前在不同版本相同数据源的任务同时运行成为可能,同时还降低了开发门槛,降低了开发Connector过程中不断通过Maven Shade Plugin解决类冲突的时间成本,大大提高了开发效率。
  • 一种chunjun同步任务不同版本数据源进行隔离方法
  • [发明专利]一种支持多样化日志合并的日志采集方法及系统-CN201910315551.X有效
  • 劳冠杰 - 杭州玳数科技有限公司
  • 2019-04-19 - 2023-10-13 - G06F11/30
  • 本发明提供了一种支持多样化日志合并的日志采集方法及系统,其中方法包括:日志监听模块对监听对象进行监听,判断监听对象是否产生变化;判断监听对象产生变化,生成事件信息,并将事件信息传输至日志处理模块;日志处理模块接收日志监听模块传输的事件信息,判断事件信息的类型,如果事件信息为删除动作,则清空监听对象的读取记录;如果事件信息为创建动作,则初始化偏移量并读取日志内容;如果事件信息为修改,则获取配置规则,按照配置规则根据预存的偏移量读取日志内容,存储到缓存队列中;日志上传模块从缓存队列中批量获取日志,将日志按照预设协议转换成字节流,并将字节流进行上传。
  • 一种支持多样化日志合并采集方法系统
  • [发明专利]一种基于flink on yarn的热重启方法及装置-CN202311087989.X在审
  • 杨槐;陈吉平;徐进挺 - 杭州玳数科技有限公司
  • 2023-08-28 - 2023-10-03 - G06F9/445
  • 本申请公开了一种基于flink on yarn的热重启方法及装置,涉及大数据处理技术领域,包括以下步骤:在监控组件中注册flink内置的jobSubmitHandler,并通过注册完成的监控组件将客户端发送的新任务提交请求转发给分发组件;在分发组件接收到所述新任务提交请求后,判断是否进行热重启,若是,则取消旧任务,并将旧任务的当前信息保存到所述新任务对应的jobgraph中;修改任务管理器中旧任务对应slot的映射关系,并将jobgraph发送给映射关系修改完成后的slot进行运行。本申请通过使用热重启技术,可以复用per‑job模式下的相关资源,从而减少了重新创建集群以及申请资源等操作消耗的时间。
  • 一种基于flinkonyarn热重启方法装置
  • [发明专利]一种基于Apache Iceberg的数据表列更新方法及系统-CN202311113956.8在审
  • 吕宴全;陈吉平;徐进挺 - 杭州玳数科技有限公司
  • 2023-08-31 - 2023-09-29 - G06F16/23
  • 本申请公开了一种基于Apache Iceberg的数据表列更新方法及系统,涉及数据处理技术领域,包括以下步骤:构建列更新文件,并在所有数据文件的元数据中添加代表更新列信息的第一字段;获取目标数据表对应的各个数据文件,并根据查询条件从各个数据文件中筛选出若干目标数据文件;根据若干目标数据文件确定待更新数据集,对待更新数据集中的数据进行更新并生成更新记录;从更新记录中提取已更新数据的主键信息和第一字段信息,并将主键信息和第一字段信息写入列更新文件中。本申请通过在Apache Iceberg中新增一种文件类型,只需要写入主键和更新列信息就可以记录完整的更新内容,从而避免写入未被修改的列信息,有效降低了整列更新场景下的存储成本。
  • 一种基于apacheiceberg数据表列更新方法系统
  • [发明专利]一种部署PyFlink任务的方法-CN202310027726.3在审
  • 李志强;陈吉平 - 杭州玳数科技有限公司
  • 2022-08-09 - 2023-07-04 - G06F8/76
  • 本申请公开了一种部署PyFlink任务的方法,涉及大数据计算技术领域,包括以下步骤:将前端上传的PyFlink任务的资源文件全部下载到后端,并获取Python相关信息;根据资源文件和Python相关信息构建PyFlink任务的PackagedProgram参数,并调用YarnClusterDescriptor的deployJobCluster方法将PyFlink任务的所有相关文件上传至HDFS中;启动Python进程,并根据PyFlink任务的逻辑生成JobGraph,通过YarnClusterDescriptor将JobGraph提交到yarn集群。本方法在提交PyFlink任务时直接复用已经上传好的资源和依赖,而无需提前在客户端安装Python环境和PyFlink任务的相关依赖,使得不同的Python环境都可以运行PyFlink任务。
  • 一种部署pyflink任务方法
  • [发明专利]代理服务方法、代理服务平台、计算机设备和存储介质-CN202110793493.9有效
  • 马港楠 - 杭州玳数科技有限公司
  • 2021-07-14 - 2023-06-13 - H04L67/56
  • 本发明提供一种代理服务方法、代理服务平台、计算机设备和存储介质,所述代理服务方法包括以下步骤:在主机发起请求时,通过请求路径获取代理服务的ID,并通过请求头部获取主机的真实IP;通过代理服务的ID获取代理服务的默认目标代理地址和代理规则;根据主机的真实IP和代理规则获取代理服务的指定目标代理地址;判断代理规则是否可用;如果代理规则可用,则选择指定目标代理地址作为实际目标代理地址;如果代理规则不可用,则选择默认目标代理地址作为实际目标代理地址;将请求转发到实际目标代理地址。本发明能够减少切换代理的时间,并能够减少后端人员对于前端人员的依赖,快速、方便地实现客户端与服务端间请求的代理与转发。
  • 代理服务方法平台计算机设备存储介质
  • [发明专利]一种将PyFlink任务部署到yarn集群的方法-CN202210951622.7有效
  • 李志强;陈吉平 - 杭州玳数科技有限公司
  • 2022-08-09 - 2023-02-14 - G06F8/61
  • 本申请公开了一种将PyFlink任务部署到yarn集群的方法,涉及大数据计算技术领域,包括以下步骤:将前端上传的PyFlink任务的资源文件全部下载到后端,并获取Python相关信息;根据资源文件和Python相关信息构建PyFlink任务的PackagedProgram参数,并调用YarnClusterDescriptor的deployJobCluster方法将PyFlink任务的所有相关文件上传至HDFS中;启动Python进程,并根据PyFlink任务的逻辑生成JobGraph,通过YarnClusterDescriptor将JobGraph提交到yarn集群。本方法在提交PyFlink任务时直接复用已经上传好的资源和依赖,而无需提前在客户端安装Python环境和PyFlink任务的相关依赖,使得不同的Python环境都可以运行PyFlink任务。
  • 一种pyflink任务部署yarn集群方法
  • [发明专利]一种基于akka框架的云原生日志收集方法和系统-CN202211198890.2有效
  • 王家敏;陈吉平 - 杭州玳数科技有限公司
  • 2022-09-29 - 2023-01-31 - G06F16/178
  • 本发明公开了一种基于akka框架的云原生日志收集方法和系统,所述方法包括:构建akka框架的日志同步服务,并将所述日志同步服务植入到应用容器中,利用akka框架的actor模型构建日志事件传递方法;利用所述akka框架的actor模型监控系统日志事件,并判断是否存在新增日志事件;构建文件队列,监控的日志事件判断当前存在新增日志事件的文件名是否存在于所述文件队列中,若存在于所述文件队列中,则将所述文件名放入到所述文件队列中;所述方法通过判断云日志中新增日志事件的文件名是否在所述文件修改队列中,若存在则将新增的日志同步到数据库,否则释放否则释放空闲资源和链接,从而大幅降低日志收集系统的资源消耗。
  • 一种基于akka框架原生日志收集方法系统
  • [发明专利]资源水位监测平台及方法、终端设备及可读存储介质-CN202110824584.4有效
  • 寿婷婷 - 杭州玳数科技有限公司
  • 2021-07-21 - 2022-12-23 - G06Q10/06
  • 本发明提供了一种资源水位监测平台及方法、终端设备及可读存储介质,其中,资源水位监测方法中包括:基于业务系统建立拓扑结构,在拓扑结构中,每个节点与业务系统中相应的资源设备绑定,且配置有节点信息和不同等级之间的指向关系;针对资源设备的各项指标配置相应的水位等级阈值;获取各资源设备的水位值、水位趋势及不同等级的资源数统计;在选定时间段内分别对资源设备的各指标计算平均值聚合,并将计算结果与配置的水位等级阈值进行比较;根据比较结果判断资源设备的使用状态并于拓扑水位监控展示页面中展示。其提供业务应用拓扑关系创建及管理能力,从企业用户更关心的业务维度出发,构建应用、资源关系,实现直观、多维的资源管理及监控。
  • 资源水位监测平台方法终端设备可读存储介质
  • [外观设计]带有袋鼠云数栈图形用户界面的电脑-CN202230346794.2有效
  • 刘菲菲 - 杭州玳数科技有限公司
  • 2022-06-08 - 2022-12-23 - 14-02
  • 1.本外观设计产品的名称:带有袋鼠云数栈图形用户界面的电脑。2.本外观设计产品的用途:本外观设计产品用显示和人机交互。3.本外观设计产品的设计要点:在于数据展示结构与展示样式,即用户界面展示内容。4.最能表明设计要点的图片或照片:主视图。5.界面用途:主视图为软件初始界面,展示数栈各个子产品的入口图标以及全站公告,跟各个子产品互相关联的项目空间列表;点击主视图的功能模块的某个子产品图标,例如:智能标签,页面跳转到界面变化状态图1,智能标签的标签中心项目列表页面,该页面罗列了智能标签下的所有项目,用户可以在顶部导航下面搜索关键词查找对应的项目,页面内容首先展示最近使用过的项目,最近使用的项目初步展示项目内的模型、指标和已发布数量,也可以手动进行删除或者进入该项目,跟在最近使用项目下面的是demo项目,用户点击体验可以体验标签产品的全流程,页面底部是全部项目的展示,可以以卡片式的形式展示也可以切换成表格形式;点击主视图数据资产图标,进入界面变化状态图2数据资产下的数据地图页面,在该页面可以对数据资产的内容进行搜索,搜索可以分类预筛选,还提供最近查询的关键词,内容页面展示资产类型以及表来源,点击会进入相应的类型对应的数据资产列表,页面底部展示热门标签和热门查询,方便用户通过热度对自己的数据资产进行全方位的了解和查看;点击界面变化状态图1中的某个项目进入项目内部页面,进入变化状态图3标签中心的标签全景页面,项目内部页面显示左侧导航进行切换二级菜单,标签全景页面展示标签各类排行,用户可以根据自己的需求进行筛选实体以及各类排行下的筛选项;点击界面变化状态图3中的任意标签名字,进入界面变化状态图4标签任务实例页面,在该页面能看到该标签下的各个任务实例详情信息;点击界面变化状态图4中的具体任务名称,进入界面变化状态图5展示详情抽屉式浮窗,该浮窗上面展示此任务实例的全部信息,各类信息通过tab切换进行分类;点击界面变化状态图5中的血缘关系tab分类,页面变为界面变化状态图6展示该表的血缘关系图,用户可在该血缘关系图中查看以及增加删除当前节点的上下游血缘关系节点;点击界面变化状态图3的左侧导航菜单“标签市场”,跳转到界面变化状态图7标签市场列表页面,页面头部可通过搜索对标签市场的各类标签进行模糊搜索,用户可以通过左侧的标签目录对相应目录下面的标签进行预筛选;点击界面变化状态图3的左侧导航点击标签市场下面的标签配置页面,进入界面变化状态图8,可以在该页面内查看标签配置列表内容,也可以在该页面新建标准;点击界面变化状态图8右上角的新建标准按钮,进入界面变化状态图9,对标签内容进行配置;在界面变化状态图3的左侧导航手动点击个人看板,进入界面变化状态图10可以查看到该项目下标签的各类数据分析;6.图形用户界面的用途:用于袋鼠云数栈DTinsight V5.0图形用户界面;7.本外观设计的后视图、左视图、右视图、俯视图、仰视图无设计要点,省略后视图、左视图、右视图、俯视图、仰视图。
  • 带有袋鼠云数栈图形用户界面电脑
  • [发明专利]一种基于Python Flink的Pulsar连接器实现方法及系统-CN202210950014.4在审
  • 王鲁宁 - 杭州玳数科技有限公司
  • 2022-08-09 - 2022-11-01 - G06F16/25
  • 本申请公开了一种基于Python Flink的Pulsar连接器实现方法及系统,涉及数据传输技术领域,包括以下步骤:根据Flink系统中Java的Pulsar连接器数据流接口类在Python Flink源代码文件中新建Python的Pulsar连接器数据流接口类;通过Py4J中的JavaGateway调用Java接口类方法以实现对应的Python接口类方法;将编写的代码安装到Python环境中,并利用Python编写读取或写入Pulsar消息系统的程序逻辑以读写Pulsar消息系统中的数据。本申请使操作人员可以利用Python语言去操作Flink读写Pulsar中的数据,方便了纯Python操作人员的工作,且不会因为使用Python语言而损耗更多的系统性能,并相较于现有调用接口,提供了更大的灵活性。
  • 一种基于pythonflinkpulsar连接器实现方法系统

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top