“袁松彪”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果9个，建议您升级VIP下载更多相关专利

[发明专利]一种ETL数据迁移方法和系统-CN201911221306.9有效
发明人： 袁松彪;梅纲 -专利权人：武汉达梦数据库股份有限公司
申请日： 2019-12-03 - 公布日： 2023-04-14 - 主分类号： G06F16/25 文献下载
摘要：本发明涉及数据管理领域，具体涉及一种ETL数据迁移方法和系统，其中ETL数据迁移方法包含以下步骤：建立抽象文件源层，抽象文件源层加载预设数据源类型列表中的抽取组件，并加载所有预设目的源类型列表中的装载组件；获取待迁移对象的数据源的类型，和待迁移对象目的源的类型；抽象文件源层调用相应的抽取组件建立与数据源的连接；抽象文件源层调用相应的装载组件建立与目的源的连接；抽取组件通过与数据源的连接从数据源处获取待迁移对象，装载组件通过与目的源的连接将待迁移对象装载至目的源。本发明提供了一种针对不同待抽取对象和待装载对象的ETL文件迁移方法和系统，简化了ETL文件迁移时的操作，提高了迁移效率。
一种 etl 数据迁移方法系统

[发明专利]一种ETL文件权限控制的方法和装置-CN202211461425.3在审
发明人： 袁松彪;梅纲;高东升 -专利权人：武汉达梦数据库股份有限公司
申请日： 2022-11-17 - 公布日： 2023-03-14 - 主分类号： G06F16/22 文献下载
摘要：本发明涉及权限管理领域，特别是涉及一种ETL文件权限控制的方法和装置。主要包括：将需要进行权限控制的文件对象的名称以及对应的权限写入授权清单，并实时监控授权清单的修改，文件对象的类型包括文件和目录；当授权清单出现修改时，根据当前授权清单构建当前的权限索引树并提交至文件权限控制层，权限索引树每个目录类型的节点内的文件对象通过哈希散列表构建；文件权限控制层根据权限索引树的内容进行文件对象的权限验证。本发明实现了ETL软件对文件权限的直接控制，并提高权限检索效率。
一种 etl 文件权限控制方法装置

[发明专利]一种分布式集群架构的ETL系统及数据迁移方法-CN202211534175.1在审
发明人：皮宇;袁松彪;杨利;高东升;梅纲 -专利权人：武汉达梦数据库股份有限公司
申请日： 2022-12-02 - 公布日： 2023-03-07 - 主分类号： G06F16/25 文献下载
摘要：本发明涉及ETL技术领域，提供了一种分布式集群架构的ETL系统及数据迁移方法，该分布式集群架构的ETL系统包括管理器、至少一个调度器和至少一个执行器，管理器、调度器和执行器设置为独立功能模块，管理器用于接收外部请求，根据外部请求配置数据同步流程，并接收来自调度器的数据；调度器用于计算数据同步流程的触发条件，并将数据同步流程下发给相应执行器，并接收来自执行器的信息；执行器用来执行数据同步流程，并将数据同步流程的运行状态信息发送给调度器。由于管理器、调度器和执行器为独立功能模块，适合云服务系统的动态部署，在进行数据同步应用部署时，适配大规模的将位于不同物理位置的数据源数据同步到中心库的任务。
一种分布式集群架构 etl 系统数据迁移方法

[发明专利]一种关联表的数据分区装载方法与装置-CN202110766468.1有效
发明人：梅纲;袁松彪;张驻西 -专利权人：武汉达梦数据库股份有限公司
申请日： 2021-07-07 - 公布日： 2022-07-29 - 主分类号： G06F16/22 文献下载
摘要：本发明公开了一种关联表的数据分区装载方法与装置，引入树形数据结构，当对主表进行数据分区装载时，基于数据的分区键值计算分区值，根据计算出的分区值分发数据并更新主表的分区映射缓存；当对附表进行数据分区装载时，基于数据在该附表与其父节点间的关联字段值从其父节点的分区映射缓存中获取分区值，根据获取到的分区值分发数据并更新该附表的分区映射缓存；对于每个节点，分区映射缓存保存数据在该节点与其子节点间的关联字段值以及对应分区值的映射关系。本方案中每条数据只需在根节点计算一次分区值，减少计算开销；整个装载过程所有表只需遍历读取一次，且不需要进行排序、表连接等操作，减少资源消耗与读取开销。
一种关联数据分区装载方法装置

[发明专利]一种ETL流程在Spark集群中运行的方法和装置-CN201911320034.8有效
发明人：梅纲;袁松彪 -专利权人：武汉达梦数据库股份有限公司
申请日： 2019-12-19 - 公布日： 2022-01-04 - 主分类号： G06F16/25 文献下载
摘要：本发明涉及数据库技术领域，提供了一种ETL流程在Spark集群中运行的方法和装置。方法包括从所述元数据库里获取被执行流程的元数据信息，包括ETL功能组件、组件属性信息、连接和连接属性信息；在Spark应用程序里建立一个有向图结构SparkGraph对象，所述SparkGraph对象由多个SparkNode对象构成，并且，所述SparkNode对象之间由SparkEdge对象关联。本发明在Spark应用程序里引入图结构蕴含RDD之间变换的血缘关系，方便的实现了ETL流程在Spark集群上的执行，并且，利用Spark集群的并行执行特性，提高了对大数据迁移转换的ETL流程执行速度。
一种 etl 流程 spark 集群运行方法装置

[发明专利]一种基于ID缓存的数据批量插入更新实现方法-CN201810981661.5有效
发明人： 袁松彪;付铨;梅纲 -专利权人：武汉达梦数据库有限公司
申请日： 2018-08-27 - 公布日： 2021-05-07 - 主分类号： G06F16/23 文献下载
摘要：本发明涉及数据处理技术领域，具体涉及一种基于ID缓存的数据批量插入更新实现方法，其中包括：根据ID缓存将待插入更新的批量数据分为批量插入的数据和批量更新的数据/探测试错数据两部分；根据划分结果，将两部分数据分别批量插入和批量更新到数据存储系统；缓存新插入数据的ID存至所述ID缓存，使所述ID缓存得到更新，以便用于下一次批量操作。本发明引进ID缓存，基于ID缓存将批量数据进行合理划分，并在每次批量操作完后缓存批量数据的ID，动态调整缓存结构用于下一次操作，减少了试错或查询性能开销的问题，提高批量插入更新的性能，尤其适用于连续多次批量数据的插入更新操作；对相邻的ID使用ID段来保存，减少了ID缓存的容量。
一种基于 id 缓存数据批量插入更新实现方法

[发明专利]一种数据同步系统自适应动态调整方法和装置-CN201811060441.5有效
发明人：付铨;袁松彪;梅纲 -专利权人：武汉达梦数据库股份有限公司
申请日： 2018-09-12 - 公布日： 2020-12-22 - 主分类号： G06F16/2455 文献下载
摘要：本发明涉及数据同步技术领域，具体涉及一种数据同步系统自适应动态调整方法和装置，其中方法包括：确定本次执行同步时功能组件可向系统申请的最大可用内存a；根据历史日志记录确定本次执行所需的最大缓存量b，从系统中获取相应内存并启动功能组件；功能组件向自己的消息队列中追加数据时实时更新当前已用缓存c，若c≥b*present.1且b＜a，则向系统申请增加内存；本次执行结束后，将最大c值作为本次实际最大使用缓存记录到日志中，以便下次使用。通过在日志中增加历史执行最大缓存量，功能组件可根据日志记录确定本次执行所需的缓存使用量，并在运行时自适应调整内存；同时可根据实际运行动态增加一级线程和二级线程，提高数据同步性能。
一种数据同步系统自适应动态调整方法装置

[发明专利]一种基于ETL系统的文件事件的调度方法和ETL系统-CN202010472475.6在审
发明人：付铨;黄海明;袁松彪;梅纲 -专利权人：武汉达梦数据库有限公司
申请日： 2020-05-29 - 公布日： 2020-11-13 - 主分类号： G06F16/25 文献下载
摘要：本发明公开了一种基于ETL系统的文件事件的调度方法和ETL系统，该调度方法包括：判断操作系统是否支持文件事件；若操作系统支持文件事件，则采用被动触发方式调度文件事件；若操作系统不支持文件事件，则采用主动触发方式调度文件事件。在本发明中，提供了一个完整的文件事件触发的作业调度方法，支持不同文件事件的触发调度，当底层操作系统支持向上层应用程序通知文件事件时，触发线程服务等待操作系统的文件事件通知；当底层操作系统不支持文件事件时，后台线程实时轮询指定路径下的文件创建、修改、删除等变化，获取文件事件。针对不同的ETL系统，可以灵活的支持各种应用需求，适应不同的底层操作系统。
一种基于 etl 系统文件事件调度方法

[发明专利]一种数据同步时防止内存溢出的方法和装置-CN201811010996.9有效
发明人：付铨;袁松彪;梅纲 -专利权人：武汉达梦数据库有限公司
申请日： 2018-08-31 - 公布日： 2020-05-19 - 主分类号： G06F9/50 文献下载
摘要：本发明涉及数据同步技术领域，具体涉及一种数据同步时防止内存溢出的方法和装置，其中方法包括：从源端读取数据，根据消息队列中已缓存数据量判断是否触发外缓存，如果触发则对数据进行大字段外缓存处理，再将数据缓存到消息队列，如果不触发则直接将数据缓存到消息队列；当下游组件需要时从消息队列中取出数据，若取出的数据有大字段外缓存，则从外缓存中进行数据恢复；将数据装载至目的端，完成数据同步。本发明将数据中占用内存过多的大字段放到外存中缓存，在数据需要清洗转换或装载时再进行数据恢复，避免同步服务器内部缓存大量数据，使数据读取组件尽可能保持工作而不是暂停，提高同步服务器同步数据的性能以及工作稳定性。
一种数据同步防止内存溢出方法装置

1
共 9 条