“reduce ”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果463个，建议您升级VIP下载更多相关专利

[发明专利]一种针对MapReduce计算的数据保密方法及系统-CN201811548683.9有效
发明人：王永智;沈玉龙;马佳文;张小宇 -专利权人：西安电子科技大学
申请日： 2018-12-18 - 公布日： 2021-05-07 - 主分类号： G06F21/60 文献下载
摘要：本发明公开了一种针对MapReduce计算的数据保密方法及系统，包括：在MapReduce的标准reduce阶段reduce2前添加另一reduce阶段reduce1；在map阶段的函数中写入随机分配函数将map阶段每个map任务中的数据平均发送给reduce1阶段的每个reduce任务；将reduce1阶段每个reduce任务合并的键值对数据分别发送给reduce2阶段的每个reduce任务，或者，在键值对数据中添加假键值对数据后分别发送；对数据进行处理，丢弃不属于reduce1阶段各个reduce任务合并的键值对数据。
一种针对 mapreduce 计算数据保密方法系统

[发明专利]Reduce任务的调度方法及装置-CN201711270644.2在审
发明人：林文辉;舒南飞 -专利权人：航天信息股份有限公司
申请日： 2017-12-05 - 公布日： 2019-06-11 - 主分类号： G06F9/48 文献下载
摘要：本发明提供一种Reduce任务的调度方法及装置，用以克服现有技术中在进行任务调度时网络传输开销较大、任务调度时间较长的缺陷。其中方法包括：当请求节点申请Reduce任务时，确定各未被调度的Reduce任务的数据本地性衡量值；选取数据本地性衡量值最小的Reduce任务，并确定选取的Reduce任务是否满足调度条件；若满足，则将选取的Reduce任务分配给请求节点。本发明实施例并非直接调度Reduce任务，而是根据Reduce任务的数据本地性衡量值进行判定后再分配满足调度条件的Reduce任务，因此在进行任务调度时考虑了Reduce任务的数据本地性，减少了任务调度时间
任务调度调度调度条件请求节点衡量任务分配网络传输再分配吞吐量判定申请

[发明专利]基于OpenFlow的资源调度方法、调度器及系统-CN201810994305.7有效
发明人：戴彬;朱艳丽 -专利权人：华中科技大学
申请日： 2018-08-29 - 公布日： 2020-07-10 - 主分类号： G06F9/50 文献下载
摘要：本发明公开了一种基于OpenFlow的资源调度方法、调度器及系统，包括：当待调度Reduce任务到达时，获得集群当前的拓扑信息；根据集群当前的拓扑信息，从空闲的Reduce节点中确定用于执行待调度Reduce任务的执行节点和将待调度Reduce任务所对应的中间结果数据传输到执行节点的第一传输路径；将待调度Reduce任务调度到执行节点，并根据第一传输路径为待调度Reduce任务预留带宽并更新集群拓扑信息；按照第一传输路径将待调度Reduce任务所对应的中间结果数据传输到执行节点，以由执行节点执行待调度Reduce任务。本发明能够最小化Reduce阶段计算资源和网络资源的使用代价总和，从而提高任务的执行效率。
基于 openflow 资源调度方法系统

[发明专利]MapReduce参数的动态确定方法及装置-CN201310078507.4有效
发明人：林学练;于晨晖;韩军;叶玥;崔晓龙 -专利权人：北京航空航天大学
申请日： 2013-03-12 - 公布日： 2013-07-24 - 主分类号： G06F9/50 文献下载
摘要：本发明提供一种MapReduce参数的动态确定方法及装置，其中，所述方法包括：获取MapReduce作业请求，所述MapReduce作业请求包括待作业数据集、预设的Reduce任务的数量以及用于表示是否允许启动Reduce任务数量的调整机制的参数；若用于表示是否允许启动Reduce任务数量的调整机制的参数为允许，则监控Map任务的执行；若已执行的Map任务的数量满足预设的第一阈值，则确定调整后的Reduce任务的数量；根据调整后的Reduce任务的数量，将各未执行的预设Reduce任务对应到各调整后的Reduce任务，从而实现在MapReduce作业中动态确定一个合理的Reduce任务的数量。
mapreduce 参数动态确定方法装置

[发明专利]MapReduce作业执行时间预测方法-CN201210477736.9有效
发明人：林学练;孟子德;沃天宇;宋鸽;随培培 -专利权人：北京航空航天大学
申请日： 2012-11-21 - 公布日： 2013-04-03 - 主分类号： G06F9/50 文献下载
摘要：本发明提供一种Map Reduce作业执行时间预测方法，包括对输入虚拟系统的Map Reduce作业进行监测，获取Map Reduce作业输入映射Map函数的参数信息，输出Map函数的参数信息和输出化简Reduce函数的参数信息、在Map函数中以及在Reduce函数中的实际执行时间；根据输入Map函数的参数信息、输出Map函数的参数信息以及在Map函数中的实际执行时间，获得Map任务执行时间预测值；根据输出Map函数的参数信息、输出Reduce函数的参数信息以及在Reduce函数中的实际执行时间，获得Reduce任务执行时间预测值；根据Map任务执行时间预测值和Reduce任务执行时间预测值，获得MapReduce针对执行Map任务时和执行Reduce任务时的执行时间进行预测，有效地提高了预测的准确率。
mapreduce 作业执行时间预测方法

[发明专利]一种数据处理系统、方法及装置-CN202210010765.8在审
发明人：贾晓露 -专利权人：北京金山云网络技术有限公司
申请日： 2022-01-06 - 公布日： 2023-07-18 - 主分类号： G06F9/50 文献下载
摘要：之后，根据聚合文件中的第二中间结果生成reduce任务，将reduce任务分配至reduce节点，对于reduce节点而言，要获取到一个reduce任务进行一次通信即可，能够有效的节省reduce节点的通信资源
一种数据处理系统方法装置

[发明专利]一种hadoop集群运行ETL的流程分解方法与装置-CN202011571984.0在审
发明人：高东升;梅纲 -专利权人：武汉达梦数据库股份有限公司
申请日： 2020-12-27 - 公布日： 2021-04-16 - 主分类号： G06F16/25 文献下载
摘要：本发明提供了一种hadoop集群运行ETL的流程分解方法与装置，基于ETL流程各组件节点构造有向无环图，并搜索有向无环图中的reduce节点；如果搜索到reduce节点，则根据该reduce节点是否有直接数据源形成该reduce节点与其数据源的键值对；根据键值对构造每个reduce节点对应的mapper和reducer，进而构造MRWork；如果搜索不到reduce节点或存在数据源节点关联不到reduce节点，则基于数据源节点及其下游节点构造
一种 hadoop 集群运行 etl 流程分解方法装置

[发明专利]MapReduce数据计算加速方法及系统-CN201910156488.X在审
发明人：安金龙;刘业辉;张宁;张飞;王彦明 -专利权人：北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司
申请日： 2019-03-01 - 公布日： 2020-09-08 - 主分类号： G06F9/448 文献下载
摘要：所述方法包括在Map端启动map任务；对输入数据进行map处理后输出键值对记录；调用partition函数，确定输出的键值对记录被分配到的reduce任务；将输出的键值对记录写入与被分配到的reduce任务对应的内存空间；所述方法还包括在Reduce端启动reduce任务；在map任务完成后，读取与reduce任务对应的内存空间内的键值对记录；对读取的键值对记录进行reduce处理后输出处理结果。本发明将Map处理结果保存在内存中，减少对磁盘的读写；简化了从Map输入到Reduce处理之间的中间处理流程，减少了计算过程。
mapreduce 数据计算加速方法系统

[发明专利]支持快速查询Map-Reduce输出结果的分桶方法、装置及设备-CN201510580544.4在审
发明人：潘洪安 -专利权人：北京金山安全软件有限公司
申请日： 2015-09-11 - 公布日： 2015-11-25 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种支持快速查询Map-Reduce输出结果的分桶方法、装置及设备。其中，该方法包括：获取Reduce任务的数量，并根据数量确定对应的哈希策略；根据哈希策略对Map任务中的key进行哈希计算生成第一整数标识；将第一整数标识作为Reduce任务的标识，并根据Reduce任务的标识分配对应的Reduce任务进行处理。本发明实施例的支持快速查询Map-Reduce输出结果的分桶方法，可以快速查询到Map任务中的key对应的计算结果，提高了数据分析的效率。
支持快速查询 map reduce 输出结果方法装置设备

[发明专利]一种基于MapReduce的数据处理方法、装置、设备及介质-CN201911337908.0在审
发明人：王吉伟;范渊 -专利权人：杭州安恒信息技术股份有限公司
申请日： 2019-12-23 - 公布日： 2020-05-05 - 主分类号： G06F9/50 文献下载
摘要：本申请公开了一种基于MapReduce的数据处理方法、装置、设备及介质，包括：对待处理数据进行抽样，得到样本数据；利用所述样本数据中key的频次以及Reduce节点的数量确定出目标均值；利用所述目标均值、所述key的频次以及所述Reduce节点的当前负载确定出所述key与所述Reduce节点的分配对应关系；利用所述分配对应关系将所述key对应的所述待处理数据分配至对应的所述Reduce节点，以便所述Reduce这样，利用抽样数据中的key的频次与对应的Reduce节点建立分配对应关系，然后利用所述分配对应关系将key对应的待处理数据分配至对应的Reduce节点，能够降低数据倾斜程度，从而提升数据处理效率。
一种基于 mapreduce 数据处理方法装置设备介质

[发明专利]一种面向Map/Reduce型海量数据处理平台的作业调度方法-CN201410531590.0有效
发明人：梁毅;王玉凤;樊明璐;张辰 -专利权人：北京工业大学
申请日： 2014-10-10 - 公布日： 2018-05-01 - 主分类号： G06F9/48 文献下载
摘要：一种面向Map/Reduce型海量数据处理平台的作业调度方法，属于海量数据处理领域，特别涉及Map/Reduce型海量数据处理平台中的作业调度和资源管理。本发明提出一种基于Reduce任务资源抢占的Map/Reduce作业调度方法，实现在Reduce任务处于空闲等待时，将其所占用的计算资源分配给Map任务使用。本发明可以应用于数据中心的作业调度和资源管理，通过对于Map/Reduce作业中Reduce任务的抢占调度，实现数据中心计算资源的合理分配，提高计算资源利用率，同时缩短作业运行时间。
一种面向 map reduce 海量数据处理平台作业调度方法

[发明专利]数据中心系统及方法、Map节点、Reduce节点、设备、芯片-CN202310651182.8有效
发明人：徐方鑫;冉建军;胡林平;杨瑾 -专利权人：上海朗力半导体有限公司
申请日： 2023-06-05 - 公布日： 2023-08-15 - 主分类号： H04L67/10 文献下载
摘要：本申请提供一种基于Map‑Reduce的传算一体数据处理方法及数据中心系统、Map节点、Reduce节点、电子设备、芯片，应用于数据处理技术、无线通信技术的领域。其中，数据中心系统包括：多个Map节点和一个Reduce节点，多个Map节点与Reduce节点之间无线连接；每一个Map节点与Reduce节点之间距离相等部署，在网络结构上可以实现多个Map节点同时向Reduce通过在Map节点将Key映射到正交序列上作为无线信号发送，在Reduce节点通过正交相关解调就能够统计出Value值，实现了传算一体的数据处理架构和数据中心系统架构，提高数据传输的效率。
数据中心系统方法 map 节点 reduce 设备芯片

[发明专利]一种MapReduce系统-CN201210479119.2无效
发明人：林学练;李金贵;赵保敬;随培培;胡春明 -专利权人：北京航空航天大学
申请日： 2012-11-22 - 公布日： 2013-04-03 - 主分类号： H04L12/861 文献下载
摘要：本发明提供一种MapReduce系统，包括Map节点、Shuffle节点和Reduce节点；Reduce节点，用于向Shuffle节点发送读写请求，读写请求中携带有Map节点标识信息以及Reduce节点标识信息；Shuffle节点，用于根据从Reduce节点接收到的读写请求中的Map节点标识信息，将读写请求发送给Map节点标识信息对应的Map节点；Map节点，用于根据从Shuffle节点接收到的读写请求中的Reduce节点标识信息和预设的Reduce节点与目标数据的对应关系，获得读写请求对应的目标数据，并将目标数据返回给Shuffle节点，以供Shuffle节点将目标数据返回给发送读写请求的Reduce节点，有效地提高了
一种 mapreduce 系统

[发明专利]含有抑制剂的决策演化集膜结构-CN201711121173.9在审
发明人：胡玉文 -专利权人：河南师范大学
申请日： 2017-11-09 - 公布日： 2018-04-13 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种含有抑制剂的决策演化集膜结构，该膜结构为∏ti＝(C，[surface[reduce]reduce[decide]decide]surface，ωreduce，ωdecide，ωacce，Rreduce，Rdecide，decide)；其中C是决策表信息系统的条件属性集；[surface[reduce]reduce[decide]decide]surface是决策演化集的膜结构，[surface
含有抑制剂决策演化膜结构

[发明专利]优化MapReduce计算的方法、装置、设备和计算机存储介质-CN201910108974.4有效
发明人：侯志贞 -专利权人：百度在线网络技术（北京）有限公司
申请日： 2019-02-03 - 公布日： 2021-11-23 - 主分类号： G06F9/50 文献下载
摘要：本发明提供了一种优化MapReduce计算的方法、装置、设备和计算机存储介质，其中所述方法包括：在各Map任务全部运行完毕之后，获取各Reduce任务需要处理的数据量；根据所述各Reduce任务需要处理的数据量，按照数据量从大到小的顺序对各Reduce任务进行排序；根据排序结果依次启动各Reduce任务，在各Reduce任务全部运行完毕后完成MapReduce计算。
优化 mapreduce 计算方法装置设备计算机存储介质

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 463 条