“卢军佐”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果20个，建议您升级VIP下载更多相关专利

[发明专利]一种基于storm的数据ETL系统及处理方法-CN201510533323.1有效
发明人：曹连超;卢军佐;亓开元 -专利权人：浪潮集团有限公司
申请日： 2015-08-27 - 公布日： 2019-04-16 - 主分类号： G06F16/25 文献下载
摘要：本发明公开一种基于storm的数据ETL系统及处理方法,属于数据ETL管理技术领域；本发明系统分为控制器模块、连接器模块和分布式计算引擎；控制器模块负责接收用户命令，解析命令设置并启动数据ETL任务；连接器模块内置关系型数据库、Hbase数据库和HDFS的连接驱动，供分布式计算引擎在连接数据源和目标数据存储的时候调用；采用storm作为分布式计算引擎，接收控制模块设置的参数，进行数据ETL任务。实现用户无需编写storm代码，只需输入命令，控制器模块负责解析用户命令，并且自动设置storm并发起ETL任务；将所有可支持的数据源和目标数据存储的连接驱动都封装在连接器中，供控制器自动选择调用。
一种基于 storm 数据 etl 系统处理方法

[发明专利]一种智能数据处理方法及装置-CN201510493727.2有效
发明人：杨勇;亓开元;赵仁明;卢军佐 -专利权人：浪潮（北京）电子信息产业有限公司
申请日： 2015-08-12 - 公布日： 2018-09-07 - 主分类号： G06F9/50 文献下载
摘要：本发明提供一种智能数据处理方法及装置，上述方法包括以下步骤：获取网络传输速率、磁盘读写速率、CPU利用率并分别与第一预设值、第二预设值、第三预设值进行比较，获取比较结果；根据比较结果，按照预设控制策略，控制所述硬件压缩卡对数据进行处理；采用独立的硬件压缩卡进行数据的解压缩处理，因此减轻了CPU的计算负担，使得CPU可以专注于处理运算相关的任务，提高大数据计算的执行效率。
一种智能数据处理方法装置

[发明专利]一种作业调度的方法和自学习调度器-CN201510661902.4有效
发明人： 卢军佐;曹连超;亓开元;赵仁明 -专利权人：浪潮集团有限公司
申请日： 2015-10-14 - 公布日： 2018-08-24 - 主分类号： G06F9/50 文献下载
摘要：本发明提供一种作业调度的方法和自学习调度器，该作业调度的方法，包括：确定作业，并将所述作业切分成各个子作业，确定外设的当前节点和所述当前节点的资源信息；根据所述外设的当前节点的资源信息，判断所述各个子作业中是否包含至少一个能在所述外设的当前节点中运行的目标子作业，如果是，将所述至少一个目标子作业分配给所述外设的当前节点，通过该方法是根据节点的资源信息为节点分配该节点能够运行的作业，实现了为节点合理分配作业的目的。
一种作业调度方法自学习

[发明专利]一种信令数据的预处理方法-CN201410791579.8有效
发明人：曹连超;辛国茂;亓开元;李占强;刘伟;卢军佐 -专利权人：浪潮电子信息产业股份有限公司
申请日： 2014-12-19 - 公布日： 2018-06-19 - 主分类号： H04W24/02 文献下载
摘要：本发明公开了一种信令数据的预处理方法，包括以下步骤：监测信令采集层的FTP接口机的新增信令文件、信令数据传输到信令共享层的Buffer、Buffer中信令数据清洗和转换。该一种信令数据的预处理方法与现有技术相比，信令数据从信令采集层传输到信令共享层在写入文件之前即进行数据预处理操作，避免信令文件在预处理过程中的二次读取，有效节省了整个信令数据处理的时间，实用性强。 1
信令数据预处理信令信令采集信令文件共享层数据预处理操作信令数据传输预处理过程二次读取数据清洗写入文件数据处理接口机传输转换监测

[发明专利]一种数据抽取方法及装置-CN201410406481.6有效
发明人：曹连超;辛国茂;亓开元;刘伟;李占强;卢军佐 -专利权人：浪潮（北京）电子信息产业有限公司
申请日： 2014-08-18 - 公布日： 2017-10-27 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种数据抽取方法，应用于关系型数据库，所述方法包括根据选取的数据表中某字段的值域分布，将所述数据表分成M个数据分区，所述字段的类型为数值型或者所述字段的值能够转换成数值；根据所述各数据分区的数据行数计算所述各数据分区的权重；根据所述各数据分区的权重为所述各数据分区分配线程数；所述各数据分区分配的各线程数的总和等于预设的总线程数N，其中M≤N；开启N个线程，按照所分配的线程数，分别对所述各数据分区采用相应数量的线程进行数据抽取。本发明通过对将数据表分为若干数据分区，动态分配各数据分区的线程数，解决了各线程分配数据不均匀的问题，提高了关系型数据的数据抽取效率。
一种数据抽取方法装置

[发明专利]一种哈希连接的方法及装置-CN201510607574.X在审
发明人： 卢军佐;曹连超;亓开元;房体盈;赵仁明 -专利权人：浪潮集团有限公司
申请日： 2015-09-22 - 公布日： 2015-12-23 - 主分类号： G06F17/30 文献下载
摘要：本发明提供了一种哈希连接的方法及装置，该方法包括：S1：获取待操作的第一表中待操作的第一数据和待操作的第二表中待操作的第二数据；S2：计算每个第一数据的哈希值，根据每个第一数据的哈希值，确定每个第一数据对应的分区号，并计算每个第二数据的哈希值，根据每个第二数据的哈希值，确定每个第二数据对应的分区号；S3：将对应相同分区号的数据读入到内存的同一个分区中；S4：分别将同一个分区中的第一数据和第二数据进行哈希连接hash join操作。本发明提供了一种哈希连接的方法及装置，能够提高join效率。
一种连接方法装置

[发明专利]一种快速更新业务的内存缓存的方法和设备-CN201510026026.8在审
发明人：刘伟;金洪殿;辛国茂;亓开元;曹连超;卢军佐 -专利权人：浪潮（北京）电子信息产业有限公司
申请日： 2015-01-19 - 公布日： 2015-04-08 - 主分类号： G06F17/30 文献下载
摘要：提出一种快速更新业务的内存缓存的方法和装置，基于读取的外部数据的缓存查找键值在内存缓存中进行查找，如果在所述内存缓存中查找到所述缓存查找键值，则根据内存缓存中存储的与所述缓存查找键值对应的原始数据和所述外部数据进行业务处理，处理完成后把结果更新至所述内存缓存中存储所述原始数据的位置，并将该位置对应的修改标记置为已修改。所述方法和装置减少了数据快速更新时数据库频繁地提交事务进行查询和更新的操作。
一种快速更新业务内存缓存方法设备

[发明专利]一种在linux下远程定时检测FTP服务器新增文件的方法-CN201410813195.1在审
发明人：曹连超;辛国茂;亓开元;李占强;刘伟;卢军佐 -专利权人：浪潮电子信息产业股份有限公司
申请日： 2014-12-24 - 公布日： 2015-03-25 - 主分类号： G06F9/44 文献下载
摘要：本发明公开了一种在linux下远程定时检测FTP服务器新增文件的方法，在linux操作系统下定时的远程监控FTP服务器指定目录下的新增文件，技术框架分为定时监控和数据文件下载两个模块。该一种在linux下远程定时检测FTP服务器新增文件的方法与现有技术相比，采用开源的FTPClient提供的API调用FTP服务器中的数据，采用的技术简单容易操作，可以有效监控FTP服务器指定目录下的新增文件，实用性强，易于推广。
一种 linux 远程定时检测 ftp 服务器新增文件方法

[发明专利]一种基于时间的yarn任务资源动态调度方法-CN201410819147.3在审
发明人：杨勇;亓开元;辛国茂;卢军佐 -专利权人：浪潮电子信息产业股份有限公司
申请日： 2014-12-25 - 公布日： 2015-03-11 - 主分类号： G06F9/46 文献下载
摘要：本发明公开了一种基于时间的yarn任务资源动态调度方法，包括以下步骤：设计yarn队列，根据任务特点，设计多个队列，每个队列对应一类任务，队列的数量动态增加，同时同一层级所有队列的资源分配比例之和是100%；编写定时刷新队列的脚本，根据时间变化和业务需求，定时调用yarn控制台命令，刷新yarn任务队列的配置参数；提交任务到指定队列，提交任务到yarn框架上时，指定任务提交到哪个队列上，从而保证各个任务在指定队列上运行。该一种基于时间的yarn任务资源动态调度方法与现有技术相比，满足在不同时间负载变化大的任务的资源需要，达到充分利用系统资源、保证关键任务的效果，实用性强。
一种基于时间 yarn 任务资源动态调度方法

[发明专利]一种多线程数据上传方法-CN201410722793.8在审
发明人：金洪殿;辛国茂;刘伟;卢军佐 -专利权人：浪潮（北京）电子信息产业有限公司
申请日： 2014-12-02 - 公布日： 2015-03-11 - 主分类号： G06F17/30 文献下载
摘要：提出一种多线程数据上传方法，所述方法配置需要上传的文件所在源路径信息、文件需要上传到HDFS系统的目的路径信息以及可以使用的线程数目信息；根据所述需要上传的文件的数据量和配置的所述线程数目信息确定每个线程需要处理的数据范围；基于配置的所述信息和确定的所述数据范围执行多线程并行数据上传。所述方法将一个大的文本文件分为多个文件并行上传到HDFS系统中，从而提高写入速度，大大降低了文件上传的时间。
一种多线程数据上传方法

[发明专利]一种针对混合型大数据处理系统的数据交互分析方法-CN201410710850.0在审
发明人：亓开元;卢军佐;杨勇;辛国茂 -专利权人：浪潮电子信息产业股份有限公司
申请日： 2014-12-01 - 公布日： 2015-03-04 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种针对混合型大数据处理系统的数据交互分析方法，属于大数据分析技术领域，混合型大数据处理系统是基于HBase数据库及基于内存计算引擎的Hive系统构建，交互查询sql语句由客户端发出，包括针对Hive表和HBase表的join操作，其特征在于采用bucketjoin方法进行数据交互，bucketjoin方法包括数据准备过程和运行时执行过程。本发明通过分桶、coprocessr和mapjoin的方式,大大提高了跨Hive和HBase系统的关联分析性能，能够满足行业大数据针对混合处理系统的交互分析业务应用需求。
一种针对混合数据处理系统数据交互分析方法

[发明专利]一种分布式ETL一体机系统-CN201410774178.1在审
发明人：刘伟;辛国茂;金洪殿;亓开元;房体盈;曹连超;卢军佐 -专利权人：浪潮电子信息产业股份有限公司
申请日： 2014-12-16 - 公布日： 2015-03-04 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种分布式ETL一体机系统，由分布式ETL一体机硬件系统、集群智勇管理引擎、ETL业务逻辑、ETL任务开发、数据引擎和数据存储、CS模式数据传输以及相关系统管理模块构成。该一种分布式ETL一体机系统与现有技术相比，可以并行高速抽取大数据量的离线数据和流数据，经过分布式ETL一体机的数据处理，输出至大数据系统，完成ETL处理过程，实用性强，适用范围广泛，具有很高的技术价值。
一种分布式 etl 一体机系统

[发明专利]一种基于HBase的大表join方法-CN201410584560.6在审
发明人： 卢军佐;曹连超;辛国茂;亓开元;赵仁明;房体盈 -专利权人：浪潮电子信息产业股份有限公司
申请日： 2014-10-28 - 公布日： 2015-02-25 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种基于HBase的大表join方法，本发明针对HBase的大表join问题，借鉴了分布式大数据表操作常采用的分桶技术，提出一种基于hashcode预分区的方法，该方法充分利用了HBase的数据存储特定，高效的解决HBase多表关联问题。
一种基于 hbase join 方法

[发明专利]一种大数据系统-CN201410658038.8在审
发明人：辛国茂;张东;亓开元;赵仁明;房体盈;曹连超;卢军佐;金洪殿;刘伟;杨勇;李占强;范荣盛 -专利权人：浪潮（北京）电子信息产业有限公司
申请日： 2014-11-18 - 公布日： 2015-02-18 - 主分类号： G06F17/30 文献下载
摘要：提出一种大数据系统，所述系统包括大数据基础平台、共享资源库、可视化编辑与展示子系统、以及流程调度子系统。所述系统综合现有各种大数据处理系统，基于用户编辑生成的数据处理流程调度程序资源和数据资源提交特定的大数据处理系统执行数据处理，极大降低了大数据系统的使用门槛，并且使组织内部大数据相关资源能方便共享，数据处理流程可复用可继承。
一种数据系统

[发明专利]一种面向混合型大数据处理系统的分区连接方法-CN201410585204.6在审
发明人：亓开元;卢军佐;杨勇;辛国茂 -专利权人：浪潮电子信息产业股份有限公司
申请日： 2014-10-28 - 公布日： 2015-02-11 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种面向混合型大数据处理系统的分区连接方法,本发明提出的面向混合型大数据处理系统的分区连接方法，能够满足行业大数据针对不同处理系统的交互分析业务应用需求，并且通过分区、coprocessr和mapjoin,大大提高了此类分析的性能，并可以进一步应用于基于join的分组、统计、排序等交互分析。通过确定Hive查询分区，减少参与传输、缓存和join过程的数据量，并且充分利用分布式架构优势，使所有节点的缓存过程并行执行，通过在各节点缓存数据，能够加快join执行效率，并且HBase表的数据量和节点数量能够按需扩展。
一种面向混合数据处理系统分区连接方法

1
2
下一页»
尾页
共 20 条