“rdd”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果192个，建议您升级VIP下载更多相关专利

[发明专利]一种基于弹性分布式数据集的Stage划分方法和终端-CN201610741110.2有效
发明人：彭磊;党李飞;崔鑫;梁殿鹏 -专利权人：华为技术有限公司
申请日： 2016-08-26 - 公布日： 2020-01-21 - 主分类号： G06F16/182 文献下载
摘要：其方法为：首先，终端创建应用程序的RDD的有向无环图DAG；接着终端对DAG中的RDD划分Stage，并在任一子RDD同时存在宽依赖和窄依赖时，将子RDD、与子RDD存在宽依赖的父RDD和与子RDD存在窄依赖的父RDD划分至不同的Stage；而后终端并行执行与子RDD存在宽依赖的父RDD和与子RDD存在窄依赖的父RDD对应的任务后，执行子RDD对应的任务。本发明实施例应用于内存计算中对基于RDD的Stage进行划分和执行。
一种基于弹性分布式数据 stage 划分方法终端

[发明专利]基于Spark分布式的栅格转矢量方法、系统及设备-CN202310490992.X在审
发明人：丁双龙;沙志友;刘春影 -专利权人：易智瑞信息技术有限公司
申请日： 2023-05-04 - 公布日： 2023-07-18 - 主分类号： G06F16/56 文献下载
摘要：本发明的方法包括：基于Spark读取栅格数据，并进行切片和序列化后生成第一RDD；将第一RDD中的栅格数据转换为矢量数据，并提取矢量数据中的属性和空间几何信息，生成第二RDD；对第二RDD进行持久化并过滤，生成与边界不相交的第三RDD以及与边界相交的第四RDD；将第四RDD中彼此相邻且属性相同的要素进行边界融合生成第五RDD；将第五RDD和第三RDD进行合并生成第六RDD；通过Spark分布式技术将第六RDD进行反序列化并输出。
基于 spark 分布式栅格矢量方法系统设备

[发明专利]基于Spark的地震数据抽道集处理方法、设备及介质-CN202111238666.7在审
发明人：亢永敢;李振杰;朱海伟;陈海洋;赵德明 -专利权人：中国石油化工股份有限公司;中国石油化工股份有限公司石油物探技术研究院
申请日： 2021-10-25 - 公布日： 2023-04-28 - 主分类号： G01V1/28 文献下载
摘要：方法包括：将地震道集数据输入分布式文件系统中，对输入的地震道集数据进行分区；根据分区的方式构建地震道集数据的炮集RDD；将炮集RDD转换为道数据RDD；根据道数据RDD中每个元素的key值，构建key值RDD；按照目标道集的key值排序方式，对key值RDD进行规约和排序处理，获得新的key值RDD；根据新的key值RDD，抽取RDD分区模型，基于分区模型对道数据RDD进行重分区；对重分区后的分区数据并行处理，对每个分区中的相同道集的道数据规约，并按照道集内部的道排序规则对道进行排序；完成所有分区的处理后，获取目标道集类型的新RDD数据。
基于 spark 地震数据抽道集处理方法设备介质

[发明专利]一种基于动态容量的Spark内存替换方法-CN202210311966.1在审
发明人：王进;张睿涵;张经宇;王磊;王静;王建新 -专利权人：长沙理工大学
申请日： 2022-03-28 - 公布日： 2022-06-10 - 主分类号： G06F12/123 文献下载
摘要：本申请公开的基于动态容量的Spark内存替换方法，包括：配置第一替换算法和第二替换算法；当有新的RDD需要存储时，根据内存紧张程度进行替换算法的选用；当触发第二替换算法时，将已有RDD分为有依赖计数和无依赖计数的两个表进行维护；随后获取已有RDD的权重大小；接着确认无依赖计数RDD表是否为空：若不为空，则在无依赖计数的RDD表中按权重从小到大将已有RDD逐个驱逐出内存，直到足够缓存新的RDD则停止；若为空，则遍历有依赖计数RDD表，以同样的方法驱逐RDD，直到空间足够容纳新的RDD。
一种基于动态容量 spark 内存替换方法

[发明专利]基于缓存价值的Spark缓存淘汰方法及系统-CN202010837412.6有效
发明人：熊安萍;杨孟达;田野;龙林波;蒋溢 -专利权人：重庆邮电大学
申请日： 2020-08-19 - 公布日： 2023-09-22 - 主分类号： G06F16/2455 文献下载
摘要：本发明涉及大数据计算领域，具体涉及一种基于缓存价值的Spark缓存淘汰方法及系统，包括：根据基于RDD信息的缓存价值模型得到每个RDD的初始缓存价值；利用改进的快速排序算法对RDD进行排序，得到RDD序列；依据初始缓存价值由高到低的顺序依次将RDD序列中RDD的计算结果存放到集群节点内存中；在任务动态执行过程中每个Stage结束时更新RDD信息；当节点内存不足时，利用基于Block信息的缓存价值模型计算已缓存本发明将最具有缓存价值的RDD保存在内存中，及时清理不使用的Block，提升计算速度，减少RDD重算开销，优化内存资源利用率。
基于缓存价值 spark 淘汰方法系统

[发明专利]内存计算的缓存优化方法-CN201310531246.7有效
发明人：陈康;艾智远;冯琳;周佳祥 -专利权人：深圳清华大学研究院
申请日： 2013-11-01 - 公布日： 2014-03-12 - 主分类号： G06F12/12 文献下载
摘要：发明提供一种内存计算的缓存优化方法，该方法包括：在Spark源程序中插入监听代码，对应用程序进行动态语义分析以构造DAG图；计算DAG中各顶点出度并筛选出出度大于1的顶点对应的RDD，筛选出的RDD为需要缓存至内存的RDD；根据贪心算法调整Action的执行顺序以优化RDD数据计算的访问顺序；计算RDD的权重，根据内存替换算法决定内存中被替换出的RDD；及根据多级缓存算法决定如何处理被替换出的RDD。应用本发明所述内存计算的缓存优化方法，无需程序员在编程时考量内存使用以及显示指定加载内存的RDD，降低程序员的编程负担，同时提高了内存的利用率进而提升大数据处理的速度。
内存计算缓存优化方法

[发明专利]一种基于弹性分布式数据集的数据处理方法、装置及系统-CN201910763269.8在审
发明人：黄琛;巴继东;何坤;胡志华 -专利权人：武汉长江通信智联技术有限公司
申请日： 2019-08-19 - 公布日： 2019-12-17 - 主分类号： G06F9/54 文献下载
摘要：本发明提供了一种基于弹性分布式数据集的数据处理方法、装置及系统，其中的数据处理方法包括：在内存集群上创建RDD数据模型；设置RDD数据模型的可操作RDD微服务集合以及数据操作模式，以使可操作RDD微服务集合中的微服务根据数据操作模式以并行的方式使用RDD数据模型，并通过RDD操作写入各自需共享的数据。
数据模型数据操作模式服务集合数据处理可操作存储空间利用率数据处理效率分布式数据装置及系统方式使用技术效果集群并行写入共享创建服务

[发明专利]基于Spark分布式的矢量转栅格方法、系统及设备-CN202310492238.X在审
发明人：丁双龙;沙志友;刘春影 -专利权人：易智瑞信息技术有限公司
申请日： 2023-05-04 - 公布日： 2023-07-18 - 主分类号： G06F16/56 文献下载
摘要：本发明的方法包括：基于Spark读取矢量数据，并序列化为包含多个分片的第一RDD；将预设的输出栅格数据像元大小及单位转换为第一RDD中空间参考相对应的像元大小及单位；根据转换后的像元大小及单位对第一RDD的空间范围划分格网，并对第一RDD中的每个矢量要素进行切分存储至第二RDD；根据索引将第二RDD中的矢量要素聚合为矢量要素集合并存储至第三RDD；对矢量要素集合的属性数据进行统计生成第四RDD，再栅格化为瓦片数据并存储至第五RDD，最后进行反序列化并输出。
基于 spark 分布式矢量栅格方法系统设备

[发明专利]高通量测序数据质量过滤方法和过滤装置-CN201611236128.3有效
发明人：陈晨;王震;于伟文 -专利权人：上海华点云生物科技有限公司
申请日： 2016-12-28 - 公布日： 2020-07-03 - 主分类号： G06F16/174 文献下载
摘要：将第一文件和第二文件分别转换为第一RDD和第二RDD；将第一RDD和第二RDD分别切分为第一partition组和第二partition组；将第一RDD和第二RDD合并为第三RDD；将第三RDD切分为第三
通量序数质量过滤方法装置

[发明专利]RDD partition内部数据索引建立方法、点查方法及joinRDD点查方法-CN202010125495.6在审
发明人：黄伟 -专利权人：苏州浪潮智能科技有限公司
申请日： 2020-02-27 - 公布日： 2020-06-19 - 主分类号： G06F16/22 文献下载
摘要：本发明公开一种RDD的partition内部数据索引建立方法、RDD点查方法及join RDD点查方法，对RDD Partition内部数据建立索引，使用HashMap来存放每条数据在Partition的位置信息，所有Partition的索引组合行程RDD的索引，在进行key的查找时，不需要遍历Partition中的所有数据，而是直接通过HashMap查找到key在Partition中的位置，然后利用另外可以通过对需要join的两个RDD创建索引，然后对索引执行查询的方式，来避免RDD的实际join，可有有效防止OOM的发生，并且提高查询的效率。
rdd partition 内部数据索引建立方法 joinrdd

[发明专利]一种集群式数据存储系统、方法、电子设备及存储介质-CN202310394474.8在审
发明人：刘彦奇;戴凌斌;吕忠岗 -专利权人：深圳市网联天下科技有限公司
申请日： 2023-04-13 - 公布日： 2023-07-21 - 主分类号： H04L67/1001 文献下载
摘要：集群式数据存储系统包括：RDD数据处理模块和访问模块，该访问模块与该RDD数据处理模块连接。访问模块用于接收访问者发送的访问请求，将该访问请求发送到该RDD数据处理模块。RDD数据处理模块用于接收并分析该访问请求，得到该访问请求对应的待处理数据和该待处理数据的处理方式，根据该处理方式确定对应的RDD。该RDD中封装了对应处理方式的计算逻辑。该RDD数据处理模块还用于定位该待处理数据并触发对应RDD进行计算并将计算结果发送到该访问模块。该访问模块在接收到该计算结果时具体用于读取该计算结果并展示给该访问者。整体提升了整个数据处理的效率。
一种集群数据存储系统方法电子设备存储介质

[发明专利]一种面向交互式Spark应用的数据动态放置方法-CN201810455119.6有效
发明人：梁毅;程石帆;常仕禄;刘飞 -专利权人：北京工业大学
申请日： 2018-05-14 - 公布日： 2022-02-15 - 主分类号： G06F9/50 文献下载
摘要：本发明公开了一种面向交互式Spark应用的数据动态放置方法，该方法分为五个步骤：初始化、缓存RDD分区价值评估、缓存RDD分区的保留选取、缓存RDD分区数据的重放置和结束。本发明针对Spark交互式应用在动态资源分配的背景下，RDD数据无法可靠放置的不足，在相邻交互请求间存在较长时间间隔时，依据任务执行器中缓存RDD分区的价值以及数据迁移的代价，利用粒子群算法进行缓存RDD
一种面向交互式 spark 应用数据动态放置方法

[发明专利]Spark作业调度系统中实现任务数据解耦的方法-CN201410658665.1有效
发明人：逯利军;钱培专;汪金忠;余聪;林强;李克民;李拯 -专利权人：北京赛特斯信息科技股份有限公司
申请日： 2014-11-18 - 公布日： 2017-10-31 - 主分类号： G06F9/46 文献下载
摘要：本发明涉及一种Spark作业调度系统中实现任务数据解耦的方法，其中包括在一个迭代周期中系统通过任务上下文对象实例读取迭代状态对象的迭代RDD信息，并将迭代RDD信息保存至任务上下文对象中；系统通过Spark任务对象实例在任务上下文对象中查找到对应的RDD信息，并将所对应的RDD信息保存至任务结果对象中；系统通过任务状态对象实例分析任务结果对象中的RDD信息，并将所对应的RDD信息分别保存至对应的状态对象中采用本发明的Spark作业调度系统中实现任务数据解耦的方法，使RDD可以在各个任务之间传递，或者在任务的前一个周期和下一个周期之间进行，使其以模块化的方式来编写各个任务，具有更广泛的应用范围。
spark 作业调度系统实现任务数据方法

[发明专利]基于Spark的地震数据规则化方法-CN202110606495.2在审
发明人：廉西猛;丛龙水;隋志强;张猛;隆文韬;张睿璇;王修银;李美梅;陈云峰 -专利权人：中国石油化工股份有限公司;中国石油化工股份有限公司胜利油田分公司物探研究院
申请日： 2021-05-31 - 公布日： 2022-12-16 - 主分类号： G01V1/30 文献下载
摘要：本发明提供一种基于Spark的地震数据规则化方法，该基于Spark的地震数据规则化方法包括：步骤1，设置进行规则化处理的参数；步骤2，根据参数对输入道集数据进行切分，得到的若干个数据切片构成输入数据RDD；步骤3，对输入数据RDD进行处理，得到规则化数据RDD；步骤4，对规则化数据RDD进行求平均合并，得到结果数据RDD。
基于 spark 地震数据规则化方法

[发明专利]一种基于异构资源的Spark任务调度方法和系统-CN202210464762.1在审
发明人：唐卓;伍晨;李肯立;向婷;李虹宇;王啸;罗文明;程欣威 -专利权人：湖南大学
申请日： 2022-04-25 - 公布日： 2022-07-29 - 主分类号： G06F9/48 文献下载
摘要：服务端基于Linux命令获取系统所需资源信息并提交到资源管理器以创建集群管理器并完成初始化，服务端接收客户端提交的任务作业，并将该任务作业提交到创建的集群管理器，以将任务作业转换为多个弹性分布式数据集RDD，对得到的所有RDD进行解析，以得到表征多个RDD之间依赖关系的RDD图，服务端根据RDD图中所有RDD之间的依赖关系生成调度阶段的DAG图，服务端将DAG图中的所有RDD按照其对应的依赖关系划分为第一任务阶段
一种基于资源 spark 任务调度方法系统

1
2
3
4
5
6
7
8
9
10
11
12
13
下一页»
尾页
共 192 条