“隋秀峰”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果28个，建议您升级VIP下载更多相关专利

[发明专利]一种面向异构存储的Spark任务动态迁移方法和系统-CN201711388866.4有效
发明人：毛睿;陆敏华;陆克中;朱金彬;隋秀峰 -专利权人：深圳大学
申请日： 2017-12-21 - 公布日： 2022-01-11 - 主分类号： G06F9/48 文献下载
摘要：本发明属于计算机技术领域，尤其涉及一种面向异构存储的Spark任务动态迁移方法和系统。该方法，在任务的执行过程中，当存储有其操作数据的固态硬盘节点存在空闲的计算资源时，将该任务动态地迁移至该固态硬盘节点上，利用固态硬盘节点高速读写的特性，仍可加速任务的执行，提升Spark应用程序的执行效率。
一种面向存储 spark 任务动态迁移方法系统

[发明专利]缓存数据迁移方法及装置-CN201710744403.0有效
发明人：毛睿;陆敏华;陆克中;朱金彬;隋秀峰 -专利权人：深圳大学
申请日： 2017-08-25 - 公布日： 2020-11-03 - 主分类号： G06F12/0811 文献下载
摘要：本发明实施例提供一种缓存数据迁移方法及装置，涉及计算机领域，该方法包括：当计算区的空闲空间不足以运行由Spark执行引擎调度的子任务时，计算抢占空间的大小，抢占空间的大小为子任务的运行空间的大小减去计算区的空闲空间的大小，统计存储区的空闲空间和有效空间的大小，并判断抢占空间的大小是否大于存储区的空闲空间的大小和存储区的有效空间的大小，当抢占空间的大小大于存储区的空闲空间的大小且不大于存储区的有效空间的大小时，将存储区的缓存数据迁移至二级缓存，迁移至二级缓存的缓存数据的大小为抢占空间的大小减去存储区的空闲空间的大小。该方法及装置避免了部分计算任务的重复操作，保护了Spark执行引擎的性能。
缓存数据迁移方法装置

[发明专利]一种Spark任务分配方法和系统-CN201710895070.1有效
发明人：毛睿;陆敏华;陆克中;朱金彬;隋秀峰 -专利权人：深圳大学
申请日： 2017-09-28 - 公布日： 2020-10-23 - 主分类号： G06F9/50 文献下载
摘要：本发明属于计算机技术领域，尤其涉及一种Spark任务分配方法和系统。首先基于数据位置的选择方法对当前提交的任务和已配置的资源中所包含的节点进行配对，生成配对结果；利用已生成的节点标识与存储设备特征标识的对应关系，将配对结果中所包含的节点分组为固态硬盘节点组和机械硬盘节点组；若当前任务的操作数据同时存在于固态硬盘节点组的节点和机械硬盘节点组的节点中，优先将任务分配到固态硬盘节点组的节点中执行，即最大限度地将任务分配到配置有SSD的计算节点上，从而充分利用SSD高速读、写以及高吞吐率的特性，加快任务的执行速度，提升集群的服务质量。
一种 spark 任务分配方法系统

[发明专利]计算机，控制设备和数据处理方法-CN202010307634.7在审
发明人：包云岗;马久跃;隋秀峰;任睿;张立新 -专利权人：华为技术有限公司;中国科学院计算技术研究所
申请日： 2014-11-24 - 公布日： 2020-09-15 - 主分类号： G06F9/50 文献下载
摘要：本发明实施例提供了一种计算机，控制设备和数据处理方法。所述计算机包括处理单元和控制设备；所述处理单元用于给应用请求增加标签，将增加标签后的应用请求发送给所述控制设备；所述控制设备用于接收所述增加标签后的应用请求，根据所述标签以及预先保存的资源分配策略确定分配给所述应用请求的资源量，所述资源分配策略包括所述标签与分配给所述应用请求的资源量之间的对应关系；还用于指示所述计算机的组成部件根据所述分配给所述应用请求的资源量，处理所述应用请求。用于提高应用请求的服务质量。
计算机控制设备数据处理方法

[发明专利]一种Spark负载访存行为追踪方法及装置-CN201710866369.4有效
发明人：毛睿;陆敏华;陆克中;罗秋明;刘刚;李荣华;廖好;周明洋;王利;王晶;隋秀峰 -专利权人：深圳大学
申请日： 2017-09-22 - 公布日： 2020-09-11 - 主分类号： G06F11/36 文献下载
摘要：一种Spark负载访存行为追踪方法，包括：在执行区，在UnsafeShuffleWriter对象的hashcode、第一被访问数据的RDD信息以及ShuffleExternalSorter对象的hashcode之间建立对应关系；获取第一被访问数据的虚拟地址和物理地址的相关信息，并根据UnsafeShuffleWriter对象的hashcode、第一被访问数据的RDD信息以及ShuffleExternalSorter对象的hashcode之间的对应关系，得到第一被访问数据的RDD信息、虚拟地址的相关信息和物理地址的相关信息的对应关系并保存在文件中；在存储区，当对MemoryStore维护的哈希表执行存储或读取操作时，获取存储或读取操作对应的第二被访问数据的RDD信息、虚拟地址的相关信息及物理地址的相关信息，然后将上述三者之间的对应关系保存在文件中。本发明还提供一种Spark负载访存行为追踪装置，可打通Spark、JVM、OS三层，使Spark语义一直延伸到硬件层。
一种 spark 负载行为追踪方法装置

[发明专利]一种Spark分布式计算数据处理方法及系统-CN201710742728.5有效
发明人：毛睿;陆敏华;陆克中;朱金彬;隋秀峰 -专利权人：深圳大学
申请日： 2017-08-25 - 公布日： 2020-09-11 - 主分类号： G06F3/06 文献下载
摘要：本发明公开了一种Spark分布式计算数据处理方法，涉及计算机领域，该方法包括：通过任务调度器调度子任务，执行RDD分区数据存储任务，申请存储区空间；计算存储区内可驱逐空间及空间的大小，根据分区数据访问热度设置混合存储系统的迁移地址；读取指定存储区内已缓存数据并释放相应的内存空间，迁移分区数据到指定地址，修改迁移数据的持久化级别，反馈驱逐成功信号及驱逐空间信息。本发明还公开了一种Spark分布式计算系统，通过引入混合存储系统，并设计驱逐逻辑单元和缓存数据迁移单元，根据分区数据热度将数据迁移至SSD或HDD，而非直接将数据迁移至磁盘或踢除已缓存的数据，能够有效地缓解内存空间不足的压力，实现Spark性能的提升。
一种 spark 分布式计算数据处理方法系统

[发明专利]一种基于SSD和HDD的混合存储系统的Spark架构优化方法-CN201710358537.9有效
发明人：陆克中;王明俭;毛睿;廖好;朱金彬;隋秀峰 -专利权人：深圳大学
申请日： 2017-05-19 - 公布日： 2020-07-17 - 主分类号： G06F3/06 文献下载
摘要：本发明提供一种基于SSD和HDD的混合存储系统的Spark架构优化方法，所述方法包括：设置SSD目录管理变量和HDD目录管理变量；设置设备适配器以实现数据持久化级别和对应临时文件目录之间的匹配；设置两个持久化级别SSD_ONLY和HDD_ONLY以生成两个持久化接口；扩大两个持久化级别的作用域的范围至所述设备适配器。
一种基于 ssd hdd 混合存储系统 spark 架构优化方法

[发明专利]一种基于SSD和HDD混合存储系统的RDD持久化方法-CN201710358093.9有效
发明人：陆克中;黄泽成;毛睿;廖好;朱金彬;隋秀峰 -专利权人：深圳大学
申请日： 2017-05-19 - 公布日： 2020-05-12 - 主分类号： G06F3/06 文献下载
摘要：本发明提供一种基于SSD和HDD混合存储系统的RDD持久化方法，包括：RDD模块将RDD模块中的块标识和RDD模块中数据的预设持久化级别传递给块管理器；所述磁盘块管理器将所述预设持久化级别传递给设备适配器；所述设备适配器接收数据的预设持久化级别和读取配置文件中两个目录管理变量，根据数据的预设持久化级别进行预设持久化级别和对应目录管理变量中临时文件目录匹配，并将匹配得到的临时文件目录返回给所述磁盘块管理器；所述磁盘块管理器根据所述块标识得到文件名，并根据匹配得到的临时文件目录和所述文件名得到数据存储地址，并将所述数据存储地址返回至所述块管理器；所述块管理器根据所述数据存储地址对RDD模块中的数据在SSD或HDD中进行存储。
一种基于 ssd hdd 混合存储系统 rdd 持久方法

[发明专利]计算机，控制设备和数据处理方法-CN201410682375.0有效
发明人：包云岗;马久跃;隋秀峰;任睿;张立新 -专利权人：华为技术有限公司;中国科学院计算技术研究所
申请日： 2014-11-24 - 公布日： 2020-04-28 - 主分类号： G06F9/50 文献下载
摘要：本发明实施例提供了一种计算机，控制设备和数据处理方法。所述计算机包括处理单元和控制设备；所述处理单元用于给应用请求增加标签，将增加标签后的应用请求发送给所述控制设备；所述控制设备用于接收所述增加标签后的应用请求，根据所述标签以及预先保存的资源分配策略确定分配给所述应用请求的资源量，所述资源分配策略包括所述标签与分配给所述应用请求的资源量之间的对应关系；还用于指示所述计算机的组成部件根据所述分配给所述应用请求的资源量，处理所述应用请求。用于提高应用请求的服务质量。
计算机控制设备数据处理方法

[发明专利]一种管理网卡的方法、装置及系统-CN201510312750.7有效
发明人：姚治成;马久跃;隋秀峰;包云岗 -专利权人：华为技术有限公司;中国科学院计算技术研究所
申请日： 2015-06-09 - 公布日： 2020-02-14 - 主分类号： H04L12/24 文献下载
摘要：本发明公开了一种管理网卡的方法，包括以下步骤：建立映射表，所述映射表用于保存复数个虚拟网卡和复数个物理网卡之间的映射关系；接收数据包；根据所述数据包的虚拟新一代周边元件扩展接口PCIe地址查询所述映射表，获取所述虚拟PCIe地址所对应的物理网卡的地址信息，即物理PCIe地址；向所述虚拟PCIe地址所对应的物理网卡转发所述数据包。本发明利用映射表建立复数个虚拟网卡和复数个物理网卡之间的映射关系，实现多个物理网卡的统一管理，提高系统的灵活性，并且能根据不同的需求热插拔网卡，有很好的容错功能以及可靠性。
一种管理网卡方法装置系统

[发明专利]一种无缓存NOC数据处理方法及NOC电子元件-CN201410364429.9有效
发明人：姚治成;隋秀峰;任睿;马久跃;包云岗 -专利权人：华为技术有限公司;中国科学院计算技术研究所
申请日： 2014-07-28 - 公布日： 2019-06-11 - 主分类号： H04L12/851 文献下载
摘要：本发明的实施例提供了一种无缓存NOC数据处理方法及NOC电子元件，涉及集成电路领域。能够通过减少高程序优先级数据包发生偏转的偏转率，从而提高了高优先级程序的性能。该方法包括：路由节点在一个处理周期内，接收多个需要发往同一转发端口的数据包；获取数据包的优先级信息，根据优先级信息得出数据包的优先等级；其中，上述的优先级信息包括数据包的时长信息和数据包对应程序的程序优先级信息；该数据包的时长信息为该数据包在NOC中停留的时间。本发明实施例应用于无缓存NOC的数据处理。
一种缓存 noc 数据处理方法电子元件

[发明专利]一种调整服务器的频率的方法及装置-CN201510326091.2有效
发明人：徐渊;隋秀峰;包云岗 -专利权人：华为技术有限公司;中国科学院计算技术研究所
申请日： 2015-06-12 - 公布日： 2019-06-11 - 主分类号： H04L7/06 文献下载
摘要：本发明实施例公开了一种调整服务器的频率的方法及装置，涉及通信技术领域，能够降低执行过程中的目标任务在所有服务器上执行完毕后产生长尾的概率。本发明实施例的方法包括：获取目标任务在第j个服务器的执行时间，其中，j为大于0并且小于N的正整数；当所述执行时间大于预设的第一阈值时，根据所述执行时间确定第j+1至第N个服务器中的第一服务器组，并调整所述第一服务器组的频率。本发明适用于数据中心。
一种调整服务器频率方法装置

[发明专利]一种混合缓存管理方法-CN201610922042.X有效
发明人：李正民;隋秀峰;朱春鸽;黄道超;周润林;李焱 -专利权人：国家计算机网络与信息安全管理中心;长安通信科技有限责任公司
申请日： 2016-10-21 - 公布日： 2019-04-19 - 主分类号： G06F3/06 文献下载
摘要：本发明涉及一种混合缓存管理方法，所述方法包括：在混合缓存的最后一级共享高速缓存LLC中的SRAM的高速缓存块上增加读写标记字段；根据所述混合缓存接收的访问请求在所述最后一级共享高速缓存LLC的STT‑RAM和SRAM的命中情况及读写标记字段的标记规则对SRAM的高速缓存块上的读写标记字段进行标记；本发明提供的方法，利用混合缓存拥有更高的存储密度的特点，通过合理的缓存管理策略抑制长尾现象，提高执行多应用效率。
一种混合缓存管理方法

[发明专利]划分高速缓存的方法及装置-CN201310422795.0有效
发明人： 隋秀峰;任睿 -专利权人：华为技术有限公司;中国科学院计算技术研究所
申请日： 2013-09-16 - 公布日： 2018-11-16 - 主分类号： G06F12/0877 文献下载
摘要：本发明实施例公开了一种划分高速缓存的方法及装置，涉及计算机技术领域，能够在虚拟机启动和复制时，提高虚拟机的性能。本发明的方法包括：当第一虚拟机访问的缓存组的缓存数据均未命中时，判断所述第一虚拟机的虚拟机管理操作状态VMS；当所述第一虚拟机的VMS为第一状态时，替换所述缓存组中属于第二虚拟机的最近最少使用的缓存数据。本发明适用于虚拟化环境。
划分高速缓存方法装置

[发明专利]一种数据替换的方法和设备-CN201310356281.X有效
发明人： 隋秀峰;任睿 -专利权人：华为技术有限公司;中国科学院计算技术研究所
申请日： 2013-08-15 - 公布日： 2018-10-09 - 主分类号： G06F12/123 文献下载
摘要：本发明提供一种数据替换的方法和设备，涉及计算机领域，能够根据应用程序对末级共享缓存容量的敏感程度的不同，将对共享缓存敏感度不高的应用程序数据从末级共享缓存中移除，这样就增大了对末级共享缓存容量敏感程度高的应用在末级共享缓存的空间，提高了处理器的实际性能，也改善了用户的使用体验。其方法为：通过建立程序敏感度等级，并根据所述敏感度等级对所述程序进行等级划分，结合所述程序敏感度等级和所述程序在程序栈中的位置，确定所述程序的替换参数，将指定的所述替换参数对应的所述程序的数据移除。本发明用于对共享缓存中的数据进行替换。
一种数据替换方法设备

1
2
下一页»
尾页
共 28 条