钻瓜专利网为您找到相关结果
81 个,建议您
升级VIP 下载更多相关专利
[发明专利] 一种将Chunjun同步任务中不同版本数据源进行隔离的方法 -CN202310897279.7 在审
发明人:
李志强 ;徐进挺 ;陈吉平
- 专利权人:
杭州玳数科技有限公司
申请日:
2023-07-20
-
公布日:
2023-10-17
-
主分类号:
G06F9/445 文献下载
摘要: 本申请公开了一种将Chunjun同步任务中不同版本数据源进行隔离的方法,涉及数据处理技术领域,包括以下步骤:启动FlinkSession,并将Chunjun中所有Connector的Jar包分发到各个NodeManager的Container中;提交任务到FlinkSession时确定任务用到的所有Container中Connector Jar包的URL路径,并将每个URL路径转换为对应项目结构下的相对路径;运行任务时提取每个Connector Jar包名中包含的插件名称,并基于各个插件名称和相对路径构建JobManager和TaskManager的类加载器体系。本申请基于Flink计算框架构建新类加载器体系,实现了多数据源的版本兼容性,使以前在不同版本相同数据源的任务同时运行成为可能,同时还降低了开发门槛,降低了开发Connector过程中不断通过Maven Shade Plugin解决类冲突的时间成本,大大提高了开发效率。
一种 chunjun 同步 任务 不同 版本 数据源 进行 隔离 方法
[发明专利] 一种部署PyFlink任务的方法 -CN202310027726.3 在审
发明人:
李志强 ;陈吉平
- 专利权人:
杭州玳数科技有限公司
申请日:
2022-08-09
-
公布日:
2023-07-04
-
主分类号:
G06F8/76 文献下载
摘要: 本申请公开了一种部署PyFlink任务的方法,涉及大数据计算技术领域,包括以下步骤:将前端上传的PyFlink任务的资源文件全部下载到后端,并获取Python相关信息;根据资源文件和Python相关信息构建PyFlink任务的PackagedProgram参数,并调用YarnClusterDescriptor的deployJobCluster方法将PyFlink任务的所有相关文件上传至HDFS中;启动Python进程,并根据PyFlink任务的逻辑生成JobGraph,通过YarnClusterDescriptor将JobGraph提交到yarn集群。本方法在提交PyFlink任务时直接复用已经上传好的资源和依赖,而无需提前在客户端安装Python环境和PyFlink任务的相关依赖,使得不同的Python环境都可以运行PyFlink任务。
一种 部署 pyflink 任务 方法
[发明专利] 一种将PyFlink任务部署到yarn集群的方法 -CN202210951622.7 有效
发明人:
李志强 ;陈吉平
- 专利权人:
杭州玳数科技有限公司
申请日:
2022-08-09
-
公布日:
2023-02-14
-
主分类号:
G06F8/61 文献下载
摘要: 本申请公开了一种将PyFlink任务部署到yarn集群的方法,涉及大数据计算技术领域,包括以下步骤:将前端上传的PyFlink任务的资源文件全部下载到后端,并获取Python相关信息;根据资源文件和Python相关信息构建PyFlink任务的PackagedProgram参数,并调用YarnClusterDescriptor的deployJobCluster方法将PyFlink任务的所有相关文件上传至HDFS中;启动Python进程,并根据PyFlink任务的逻辑生成JobGraph,通过YarnClusterDescriptor将JobGraph提交到yarn集群。本方法在提交PyFlink任务时直接复用已经上传好的资源和依赖,而无需提前在客户端安装Python环境和PyFlink任务的相关依赖,使得不同的Python环境都可以运行PyFlink任务。
一种 pyflink 任务 部署 yarn 集群 方法
[外观设计] 带有袋鼠云数栈图形用户界面的电脑 -CN202230346794.2 有效
发明人:
刘菲菲
- 专利权人:
杭州玳数科技有限公司
申请日:
2022-06-08
-
公布日:
2022-12-23
-
主分类号:
14-02 文献下载
摘要: 1.本外观设计产品的名称:带有袋鼠云数栈图形用户界面的电脑。2.本外观设计产品的用途:本外观设计产品用显示和人机交互。3.本外观设计产品的设计要点:在于数据展示结构与展示样式,即用户界面展示内容。4.最能表明设计要点的图片或照片:主视图。5.界面用途:主视图为软件初始界面,展示数栈各个子产品的入口图标以及全站公告,跟各个子产品互相关联的项目空间列表;点击主视图的功能模块的某个子产品图标,例如:智能标签,页面跳转到界面变化状态图1,智能标签的标签中心项目列表页面,该页面罗列了智能标签下的所有项目,用户可以在顶部导航下面搜索关键词查找对应的项目,页面内容首先展示最近使用过的项目,最近使用的项目初步展示项目内的模型、指标和已发布数量,也可以手动进行删除或者进入该项目,跟在最近使用项目下面的是demo项目,用户点击体验可以体验标签产品的全流程,页面底部是全部项目的展示,可以以卡片式的形式展示也可以切换成表格形式;点击主视图数据资产图标,进入界面变化状态图2数据资产下的数据地图页面,在该页面可以对数据资产的内容进行搜索,搜索可以分类预筛选,还提供最近查询的关键词,内容页面展示资产类型以及表来源,点击会进入相应的类型对应的数据资产列表,页面底部展示热门标签和热门查询,方便用户通过热度对自己的数据资产进行全方位的了解和查看;点击界面变化状态图1中的某个项目进入项目内部页面,进入变化状态图3标签中心的标签全景页面,项目内部页面显示左侧导航进行切换二级菜单,标签全景页面展示标签各类排行,用户可以根据自己的需求进行筛选实体以及各类排行下的筛选项;点击界面变化状态图3中的任意标签名字,进入界面变化状态图4标签任务实例页面,在该页面能看到该标签下的各个任务实例详情信息;点击界面变化状态图4中的具体任务名称,进入界面变化状态图5展示详情抽屉式浮窗,该浮窗上面展示此任务实例的全部信息,各类信息通过tab切换进行分类;点击界面变化状态图5中的血缘关系tab分类,页面变为界面变化状态图6展示该表的血缘关系图,用户可在该血缘关系图中查看以及增加删除当前节点的上下游血缘关系节点;点击界面变化状态图3的左侧导航菜单“标签市场”,跳转到界面变化状态图7标签市场列表页面,页面头部可通过搜索对标签市场的各类标签进行模糊搜索,用户可以通过左侧的标签目录对相应目录下面的标签进行预筛选;点击界面变化状态图3的左侧导航点击标签市场下面的标签配置页面,进入界面变化状态图8,可以在该页面内查看标签配置列表内容,也可以在该页面新建标准;点击界面变化状态图8右上角的新建标准按钮,进入界面变化状态图9,对标签内容进行配置;在界面变化状态图3的左侧导航手动点击个人看板,进入界面变化状态图10可以查看到该项目下标签的各类数据分析;6.图形用户界面的用途:用于袋鼠云数栈DTinsight V5.0图形用户界面;7.本外观设计的后视图、左视图、右视图、俯视图、仰视图无设计要点,省略后视图、左视图、右视图、俯视图、仰视图。
带有 袋鼠 云数栈 图形 用户界面 电脑