“mapreduce”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果990个，建议您升级VIP下载更多相关专利

[发明专利]一种数据查询的优化方法和装置-CN201710162266.X在审
发明人：伍文聪;胡剑锋;欧开健;顾全;郭琦 -专利权人：南方电网科学研究院有限责任公司;中国南方电网有限责任公司电网技术研究中心;南京南瑞继保电气有限公司
申请日： 2017-03-17 - 公布日： 2017-08-08 - 主分类号： G06F17/30 文献下载
摘要：该方法包括根据MapReduce作业的执行流程，建立基于MapReduce的查询代价模型；根据查询代价模型计算操作树上各个MapReduce作业的代价；获取MapReduce作业中的至少一组冗余MapReduce作业；获取每一组冗余MapReduce作业中代价最小的MapReduce作业，并将该组冗余MapReduce作业合并为该组冗余MapReduce作业中代价最小的MapReduce作业。
一种数据查询优化方法装置

[发明专利]一种基于MapReduce的数据处理方法和装置-CN201410140407.4有效
发明人：邓超;熊龙;徐萌;钱岭;孙少陵 -专利权人：中国移动通信集团公司
申请日： 2014-04-09 - 公布日： 2018-08-17 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于MapReduce的数据处理方法和装置，用以解决现有技术中的MapReduce流程在处理数据时会频繁进行磁盘读写操作从而造成额外开销，严重影响系统性能的问题。该方法包括：确定针对欲处理数据所要执行的第一MapReduce流程；所述第一MapReduce流程中包含多个MapReduce作业；将所述第一MapReduce流程中满足预先设置的合并规则的MapReduce作业进行合并，得到第二MapReduce流程；其中，所述合并规则满足：合并前的MapReduce作业的执行结果与合并后的MapReduce作业的执行结果相同；对所述预处理数据执行所述第二MapReduce
一种基于 mapreduce 数据处理方法装置

[发明专利]一种将MapReduce转换为SQL的方法和装置-CN201410114193.3在审
发明人：徐常亮 -专利权人：阿里巴巴集团控股有限公司
申请日： 2014-03-25 - 公布日： 2015-09-30 - 主分类号： G06F9/44 文献下载
摘要：本申请公开了一种将MapReduce转换为SQL的方法和装置，属于计算机技术领域。所述方法包括：获取用户通过MapReduce框架输入的映射化简MapReduce；解析MapReduce，得到所述MapReduce的函数类型；根据所述MapReduce的函数类型，查询得到与所述函数类型相应的MapReduce与结构化查询语言SQL映射关系，以及SQL模板；根据与所述函数类型相应的MapReduce与SQL映射关系，以及SQL模板，将所述MapReduce转换为SQL。本发明可以将MapReduce自动转换成SQL，实现简单便捷。
一种 mapreduce 转换 sql 方法装置

[发明专利]MapReduce作业处理系统、服务器及处理方法-CN201410742593.9有效
发明人：谢莹莹;郭庆;徐学辉;班军成;解元 -专利权人：无锡城市云计算中心有限公司
申请日： 2014-12-08 - 公布日： 2018-02-02 - 主分类号： G06F9/48 文献下载
摘要：本发明提供MapReduce作业处理系统包括基于B/S架构的客户端、MapReduce作业管理模块、MapReduce作业调度模块和存储模块，由于通过该系统客户端的可以设置MapReduce作业信息、接收操作指令，由MapReduce作业管理模块执行MapReduce作业操作指令，MapReduce作业调度模块进行作业调度，免去了作业运行前设置客户端，且根据MapReduce作业信息可周期性调度作业，简化作业的处理流程本发明还提供了MapReduce作业处理服务器及基于上述系统的MapReduce作业提交、查询、激活、挂起、恢复、调度的方法。
mapreduce 作业处理系统服务器方法

[发明专利]一种Sqoop集成多版本HBase的方法及装置-CN202010990164.9有效
发明人：陶钰昕;秦正;何金彪 -专利权人：苏州浪潮智能科技有限公司
申请日： 2020-09-18 - 公布日： 2022-12-27 - 主分类号： G06F16/25 文献下载
摘要：集成多版本HBase的方法及装置，所述方法步骤如下：Sqoop‑HBase参数解析模块获取Sqoop命令参数，解析出HBase参数信息；HBase版本选择模块根据HBase参数信息选择对应HBase版本的MapReduce参数及策略；Sqoop‑MapReduce作业生成模块获取原有根据Sqoop命令参数生成的MapReduce作业文件，并将对应HBase版本的MapReduce参数及策略添加到MapReduce作业文件中；MapReduce作业提交模块将Mapreduce作业文件打包成MapReduce集群识别格式，提交给MapReduce集群运行处理。
一种 sqoop 集成版本 hbase 方法装置

[发明专利]一种运行MapReduce作业的方法、装置及系统-CN201611249643.5有效
发明人：叶志伟 -专利权人：中移(苏州)软件技术有限公司;中国移动通信集团公司
申请日： 2016-12-29 - 公布日： 2022-06-28 - 主分类号： G06F9/48 文献下载
摘要：本发明公开了一种运行MapReduce作业的方法，所述方法包括：创建一个以上通用型的MapReduce作业描述文件，并对所述MapReduce作业描述文件进行解析，生成相应的MapReduce对象；根据所述MapReduce对象中指定的MapReduce数据，生成相应的结构化查询语言(SQL)序列；其中，所述SQL序列中包括至少一个MapReduce任务；根据有向无环图(DAG)将所述SQL序列进行发送。本发明还同时公开了一种运行MapReduce作业的装置及系统。
一种运行 mapreduce 作业方法装置系统

[发明专利]一种处理串行任务的数据处理装置及方法-CN201410069692.5在审
发明人：刘衍初;刘超 -专利权人：华为技术有限公司
申请日： 2014-02-27 - 公布日： 2014-06-04 - 主分类号： G06F9/46 文献下载
摘要：本发明的方法包括：获取至少两个MapReduce任务，至少两个MapReduce任务按照执行先后顺序串行排列；其中，当两个MapReduce任务串行排列时，前一个MapReduce任务被执行后得到的输出值为后一个MapReduce任务的输入值；合并至少两个MapReduce任务得到目标MapReduce任务;执行目标MapReduce任务，并得到目标MapReduce任务的输出结果。
一种处理串行任务数据处理装置方法

[发明专利]MapReduce应用的相关参数的配置方法和装置-CN201410373376.7在审
发明人：邹嘉;史巨伟;郑勇;王晨;刘杰 -专利权人：国际商业机器公司
申请日： 2014-07-31 - 公布日： 2016-02-03 - 主分类号： G06F9/44 文献下载
摘要：本发明涉及分布式文件系统，其提供了一种MapReduce应用的相关参数的配置方法和装置，该方法包括：接收第一MapReduce作业的处理请求；获取历史MapReduce作业的作业特征属性；从所述历史MapReduce作业的作业特征属性中查找到与所述第一MapReduce作业相关的第二MapReduce作业的作业特征属性；以及根据所述第二MapReduce作业的作业特征属性配置所述第一MapReduce作业的相关参数按照该参数配置方法，能够有效地降低文件传输的网络开销、尽可能实现本地化处理的MapReduce作业的参数配置方法，减少管理员配置负担的同时，有效地增加系统资源利用率。
mapreduce 应用相关参数配置方法装置

[发明专利]一种计算HiveSql执行进度的方法-CN202110439353.1在审
发明人：童孝天 -专利权人：上海中通吉网络技术有限公司
申请日： 2021-04-23 - 公布日： 2021-07-20 - 主分类号： G06F9/448 文献下载
摘要：本申请涉及一种计算HiveSql执行进度的方法，属于计算机技术领域，本申请包括：通过HiveSql将任务执行计划转换成MapReduce任务，获取MapReduce任务总数量；获取已生成的所有MapReduce任务总量，按照预设规则将已生成的MapReduce进行排序；根据排序得到已完成的MapReduce任务的序号；获取当前执行的MapReduce的任务进度；计算已完成的MapReduce任务的总量在MapReduce的任务总数量中的权重，得到已完成任务的权重结果；将权重结果与当前执行的MapReduce的任务进度相加，得到得到当前HiveSql的执行进度，突破原有HiveSql无法反应执行进度的问题，以巧妙的方法准确计算出
一种计算 hivesql 执行进度方法

[发明专利]一种考虑任务相关性的Hive优化方法及系统-CN201610607561.7在审
发明人：杨訸;李焕;赵婷;刘贺;高昆仑;袁豪;陈江琦;黄复鹏;梁潇;王宇飞 -专利权人：全球能源互联网研究院;国网上海市电力公司;国家电网公司
申请日： 2016-07-28 - 公布日： 2016-12-21 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种考虑任务相关性的Hive优化方法及系统，所述方法包括：将HQL语句转化为MapReduce物理计划，并获取所述MapReduce物理计划中各MapReduce Job在shuffle阶段用于排序的键shuffle key；根据相关性规则，合并所述各MapReduce Job中相关MapReduce Job；本发明提供的方法及系统，考虑Hive执行过程中，任务之间的相关性，最小化MapReduce
一种考虑任务相关性 hive 优化方法系统

[发明专利]用于在MapReduce系统中保护隐私数据的方法和装置-CN201210133550.1有效
发明人：史巨伟;李立;于琦;刘驰;王文杰 -专利权人：国际商业机器公司
申请日： 2012-04-28 - 公布日： 2013-10-30 - 主分类号： H04L29/06 文献下载
摘要：本发明涉及MapReduce系统中的数据处理，具体地，公开一种用于在MapReduce系统中保护隐私数据的方法和装置。其中，所述MapReduce系统包含公有子系统和私有子系统，该方法包含：接收要在MapReduce系统中执行的MapReduce程序，其中，所述MapReduce程序中包含指定Map函数的输入、输出数据和Reduce函数的输出数据的隐私属性的指令；在执行MapReduce程序之前，检测Map函数的输入、输出数据和Reduce函数的输出数据的隐私属性；根据所检测的隐私属性，分配用于被私有子系统和共有子系统处理的数据
用于 mapreduce 系统保护隐私数据方法装置

[发明专利]一种基于MapReduce的图像分类方法-CN201410673349.1在审
发明人：黄敏;刘晶;杨晋博 -专利权人：浪潮电子信息产业股份有限公司
申请日： 2014-11-21 - 公布日： 2015-03-04 - 主分类号： G06K9/66 文献下载
摘要：本发明公开了一种基于MapReduce的图像分类方法，在Hadoop平台上，首先，利用MapReduce框架实现对图像SIFT特征的并行提取；利用MapReduce框架对每幅图像提取的SIFT特征进行稀疏编码，从而获得图像对应的稀疏向量，生成图像的稀疏特征；然后，基于图像的稀疏特征，利用MapReduce框架训练决策树，生成针对图像特征集合的随机森林；利用MapReduce结合随机森林对每幅图像进行分类计算通过实验验证，表明基于MapReduce的图像分类方法能够在保证不低于单机平台分类精确性的同时，明显提高分类速度。
一种基于 mapreduce 图像分类方法

[发明专利]一种基于MapReduce的自适应作业调度方法-CN200910311687.X无效
发明人：王非;卢正新;黄本雄;王芙蓉 -专利权人：华中科技大学
申请日： 2009-12-17 - 公布日： 2011-04-06 - 主分类号： G06F9/50 文献下载
摘要：本发明涉及分布式并行计算领域中MapReduce自适应作业调度方法，包括下列步骤：MapReduce计算各个计算节点单CPU内核的能力指数；计算MapReduce作业的数据块规模；调度节点对新进入的MapReduce作业的数据进行划分；调度节点动态将MapReduce作业的数据块组装成任务，分配给各计算节点；动态统计各计算节点的资源使用率，如果资源使用率低于门限，重新计算MapReduce作业的数据块规模。
一种基于 mapreduce 自适应作业调度方法

[发明专利]分布式计算系统中的Map优化方法及装置-CN201310617998.5有效
发明人：刘健男;王永伟 -专利权人：阿里巴巴集团控股有限公司
申请日： 2013-11-27 - 公布日： 2018-12-07 - 主分类号： G06F9/50 文献下载
摘要：本申请实施例公开了分布式计算系统中的Map优化方法及装置，其中，所述方法包括：获取MapReduce作业在预置时间段内的历史执行日志；根据所述历史执行日志计算MapReduce作业的执行时间长度均值，以及使用的Map数均值；根据所述目标MapReduce作业的执行时间长度均值判断所述目标MapReduce作业是否需要进行Map优化；如果是，则根据所述目标MapReduce作业的执行时间长度均值以及使用的Map数均值，对分片大小计算公式中的参数Mapred.Map.tasks的取值进行调节；利用调节后的参数Mapred.Map.tasks的取值计算分片大小，并利用计算得到的分片大小为所述目标MapReduce作业分配Map数，以便基于分配的Map数执行所述目标MapReduce作业。通过本申请，能够降低Map端数据倾斜的发生概率，提高MapReduce作业执行效率。
分布式计算系统中的 map 优化方法装置

[发明专利]一种迭代型MapReduce作业的参数自动调优方法-CN201610692752.8有效
发明人：赵淦森;高晓杰;唐华;张海明;王欣明;聂瑞华;汤庸;朱佳;廖智锐;陈乐华;涂继来 -专利权人：华南师范大学;广州时韵信息科技有限公司
申请日： 2016-08-18 - 公布日： 2019-12-17 - 主分类号： G06F9/50 文献下载
摘要：本发明公开了一种迭代型MapReduce作业的参数自动调优方法，包括：判断是否满足迭代结束条件，若是，则迭代计算任务结束，反之，则执行步骤B；B、通过参数搜索算法，进而根据给定的MapReduce参数搜索空间，搜索得出新的MapReduce参数配置；C、采用搜索出的新的MapReduce参数配置来实现当前MapReduce作业的运行，运行结束后，对当前MapReduce作业的运行效果进行判断，并根据判断结果从而进行相应的数据调整处理通过使用本发明的方法能提高每一次迭代MapReduce作业的运行效率，为用户带来方便，以及大大减少了时间资源的浪费。本发明的方法可广泛应用于Hadoop运行参数调优领域中。
参数配置参数搜索搜索迭代结束条件迭代计算判断结果任务结束时间资源数据调整一次迭代运行参数运行结束运行效果运行效率迭代算法返回应用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 990 条