[发明专利]一种数据缓存方法、装置及数据传输系统

说明书

本公开是关于一种数据缓存方法、装置及数据传输系统。该数据缓存装置包括：顺序连接的第一缓存模块、第二缓存模块和第三缓存模块，所述第一缓存模块与随机存取存储器连接，所述第三缓存模块与数据处理器连接。该技术方案依赖数据局部性原理，避免了随机存储器与数据处理器之间的带宽不匹配引起的等待问题，在满足数据局部性基础上，通过挖掘并行运算，提高了多个数据处理器之间及多个数据处理器与随机存储器之间的数据读写的效率。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种数据缓存方法、装置及数据传输系统。

背景技术

在过去10多年里的计算机系统发展历程中，运算能力的提升远大于内存带宽的提升，因此内存性能与运算性能之间的距离在逐渐扩大。这也是深度神经网络加速器通常面临的一个的挑战。依赖于数据局部性原理的高带宽局部缓存，在一定程度上可以解决内存带宽与运算能力之间的不匹配问题。

发明内容

本公开实施例提供一种数据缓存方法、装置及数据传输系统。所述技术方案如下：

根据本公开实施例的第一方面，提供一种数据缓存装置，包括：顺序连接的第一缓存模块、第二缓存模块和第三缓存模块，所述第一缓存模块与随机存取存储器连接，所述第三缓存模块与数据处理器连接；

所述第一缓存模块，在每个时钟，从随机存取存储器获取并缓存第一数据量的第一数据；当所述第一缓存模块中缓存的数据达到第二数据量时，将所述第二数据量的第二数据发送至所述第二缓存模块，其中，所述第一数据量等于所述第二数据量乘以第一带宽比例，所述第一带宽比例为所述第一缓存模块与所述第二缓存模块交互数据所占的带宽比例；

所述第二缓存模块，缓存所述第二数据，并将所述第二数据发送至所述第三缓存模块；

所述第三缓存模块，缓存所述第二数据，并在每个时钟，向所述数据处理器发送第三数据量的第三数据，其中，所述第二数据量为所述第三数据量的n倍，n为大于1的整数。

可选的，所述第三缓存模块，在每个时钟，接收并缓存所述数据处理器发送的第三数据量的第四数据；当所述第三缓存模块缓存的数据达到第二数据量，将所述第二数据量的第五数据发送至所述第二缓存模块；

所述第二缓存模块，将所述第五数据发送至所述第一缓存模块；

所述第一缓存模块，在每个时钟，向所述随机存取存储器发送第一数据量的第六数据。

可选的，所述第三缓存模块与所述第二缓存模块交互数据所占的第二带宽比例为1减所述第一带宽比例。

可选的，所述第一缓存模块和所述第三缓存模块执行先入先出的读写规则。

可选的，所述数据缓存装置包括：至少两个第一数据缓存模块及至少两个第三数据缓存模块。

可选的，当所述数据缓存装置与至少两个数据处理器连接时，与第一数据处理器连接的第三数据缓存模块，接收并缓存所述第一数据处理器发送的第三数据量的第七数据，当所述第三缓存模块缓存的数据达到第二数据量，将所述第二数据量的第八数据发送至所述第二缓存模块；

所述第二缓存模块，将所述第八数据通过与第二数据处理器连接的第三数据缓存模块发送至所述第二数据处理器。根据本公开实施例的第二方面，提供一种数据缓存方法，应用于数据缓存装置，所述数据缓存装置包括：顺序连接的第一缓存模块、第二缓存模块和第三缓存模块，所述第一缓存模块与随机存取存储器连接，所述第三缓存模块与数据处理器连接；

所述方法包括：

在每个时钟，所述第一缓存模块从随机存取存储器获取并缓存第一数据量的第一数据；