[发明专利]基于分布式缓存亲和性调度的训练加速方法、装置及系统在审
| 申请号： | 202110132077.4 | 申请日： | 2021-01-31 |
| 公开（公告）号： | CN112882999A | 公开（公告）日： | 2021-06-01 |
| 发明（设计）人： | 谢远东;刘青松;梁家恩 | 申请（专利权）人： | 云知声智能科技股份有限公司;厦门云知芯智能科技有限公司 |
| 主分类号： | G06F16/172 | 分类号： | G06F16/172;G06F16/16;G06N20/00;H04L29/08 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 100096 北京市海*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了基于分布式缓存亲和性调度的训练加速方法、装置及系统，装置包括多个分布式缓存组件：数据集存储、主进程、工作进程、缓存工作节点、缓存客户端和处理器GPU；其中，数据集存储，用于存储底层数据；主进程，用于读取底层数据的元数据、存存储元数据信息及工作进程信息；工作进程，用于将读取的底层数据加载缓存到GPU中；缓存客户端，用于供用户调用到指定缓存工作节点，并创建缓存文件夹，用于存储GPU中缓存的文件；其中，缓冲工作节点上设置有计算任务名标签；GPU，用于用户使用客户端fuse创建的缓存文件夹进行训练时，直接读取缓存文件夹中的缓存文件。解决了小文件加载慢的问题，并彻底消除数据集加载占用通信带宽问题。 | ||
| 搜索关键词： | 基于 分布式 缓存 亲和性 调度 训练 加速 方法 装置 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于云知声智能科技股份有限公司;厦门云知芯智能科技有限公司，未经云知声智能科技股份有限公司;厦门云知芯智能科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110132077.4/，转载请声明来源钻瓜专利网。
- 上一篇：一种便于更换叶轮的节能环保烧烤装置
- 下一篇：一种挂壁式灭火单元及其灭火系统
