[发明专利]一种深度学习分布式框架用的数据交换方法与装置

摘要

本发明公开了一种深度学习分布式框架用的数据交换方法与装置，包括：使每个计算单元持续生成待交换数据；将待交换数据存入计算单元的缓冲区；使用比例因子压缩待交换数据的精度范围；根据计算单元的参数确定交换阈值；当缓冲区内存储的待交换数据达到交换阈值时，交换待交换数据。本发明的技术方案能够在不同计算单元或不同类型的计算单元之间按照需要交换数据，在保证数据交换时限的前提下充分利用缓存，提高数据通信性能和效率，使云计算环境下大规模数据训练的性能表现最大化。

主权项

1.一种深度学习分布式框架用的数据交换方法，其特征在于，包括以下步骤：使每个计算单元持续生成待交换数据；将所述待交换数据存入所述计算单元的缓冲区；使用比例因子压缩所述待交换数据的精度范围；根据所述计算单元的参数确定交换阈值；当所述缓冲区内存储的所述待交换数据达到所述交换阈值时，交换所述待交换数据。