|
|
钻瓜专利网为您找到相关结果 25个，建议您 升级VIP下载更多相关专利
- [发明专利]一种面向分布式机器学习的稀疏通信模型的实现方法-CN202010927942.X有效
-
王冬霞;雷咏梅
-
上海大学
-
2020-09-07
-
2022-12-23
-
H04L41/142
- 本发明公开了一种面向分布式机器学习的稀疏通信模型的实现方法。根据多核分布式系统底层通信特征对进程进行分组，将处于同一节点的进程分为一组，并采用二维向量保存分组信息，便于获取分组信息。针对稀疏数据特征，设计了稀疏数据的通信协议。在此基础上，实现了稀疏数据的allreduce通信算法。该通信算法根据节点数的不同及消息长度的不同选择不同的实现方法。当节点数为2的幂时，采用hier_recursive_halving算法来实现短消息的allreduce操作，采用hier_split_allgather算法来实现长消息的allreduce操作。当节点数不是2的幂时，采用hier_split_scannter算法实现allreduce操作。这三种通信算法利用层次化稀疏通信模型来减少节点间通信开销，且本发明根据稀疏数据的特征动态选择通信算法。
- 一种面向分布式机器学习稀疏通信模型实现方法
- [发明专利]一种基于Spark平台分类问题优化算法的数据聚合方法-CN202210800809.7在审
-
彭存禄;王国政;雷咏梅
-
上海大学
-
2022-07-06
-
2022-11-08
-
G06F9/50
- 本发明公开了一种基于Spark平台分类问题优化算法的数据聚合方法。提出ARAggregate数据聚合模式，使得模型数据的更新过程可以在worker节点间进行，而不必由Driver节点负责聚合各个worker节点的数据之后在广播分发到各个worker节点来完成模型数据的更新。由此将数据聚合的功能从Driver节点抽离出来，使得Driver节点只负责任务运行的调度等功能，从而降低由Driver节点负载过重带来的Spark平台的性能瓶颈问题。本发明通过将ARAggregate数据聚合模式应用到Spark平台中的SGD算法中，使得worker节点根据本地数据计算出完整的本地模型，然后利用ARAggregate数据聚合模式在worker节点间进行全局模型的更新。本发明通过在Spark平台上实现ADMM算法，并将ARAggregate数据聚合模式应用到其中，实现了Spark平台上的基于新的数据聚合模式的ADMM算法。
- 一种基于spark平台分类问题优化算法数据聚合方法
- [发明专利]一种构建高效MPI设备层扩展库的方法-CN201610339916.9有效
-
雷咏梅;方铃
-
上海大学
-
2016-05-22
-
2019-07-23
-
G06F9/54
- 本发明涉及一种构建高效MPI设备层扩展库的方法。本方法是利用MPICH3的PMI KVS空间的功能，结合PCI Express互联结构的特点，提出控制和数据双通道的通信模式，通过以太网仅传输必需的控制信息，使用高速的PCI Express来传输数据信息，通过进程PMI put操作保存本地计算节点端口等信息到本地KVS中,同时同步到远程服务端KVS，而其他进程再通过PMI get操作获取各进程所在计算节点端口等信息，从而建立节点间通信关系，实现这种嵌入式混合异构系统运算节点之间高效的数据传输，实现MPI并行程序无缝移植和高效运行。
- 一种构建高效mpi设备扩展方法
|
