[发明专利]一种基于深度学习的多级cache共享的方法和装置

摘要

本发明提供了一种基于深度学习的多级cache共享的方法和装置，所述装置包括处理器、高速缓存单元、多个神经网络运算单元，所述高速缓存单元包括多个高速缓存行。处理器通过划分信息来分配各个神经网络运算单元对应的高速缓存行数量，使得有限的高速缓存空间得到更加合理的分配，有效提高了神经网络计算效率。此外，神经网络运算单元在写入数据时，优先将数据写入至其对应的高速缓存行中；在需要读取数据时，优先从高速缓存行中查找待读取数据，使得神经网络大量数据访问都在芯片内部完成,减少了神经网络对外存的数据访问,也减少了对外存的带宽需求,最终达到降低带宽的目的。

主权项

1.一种基于深度学习的多级cache共享的装置，其特征在于，所述装置包括处理器、划分信息存储单元、高速缓存单元、外部存储单元、神经网络单元；所述高速缓存单元包括多个高速缓存行；所述神经网络单元包括一个以上神经网络运算层，每一神经网络运算层包括多个神经网络运算单元；所述神经网络单元与高速缓存单元连接，所述处理器分别与高速缓存单元、划分信息存储单元连接；所述处理器用于读取划分信息存储单元中的划分信息，并根据划分信息分配相应数量的高速缓存行给对应的神经网络运算单元；所述划分信息记录有各个神经网络运算单元与需要划分给该神经网络运算单元的高速缓存行数量的对应关系；各个神经网络运算单元在需要写入数据时，优先将数据写入至其对应的高速缓存行中，并在其对应的高速缓存行写满后，再向外部存储单元写入数据；各个神经网络运算单元在需要读取数据时，先根据待读取数据的逻辑地址从高速缓存行中查找待读取数据，并在高速缓存行中未查找到待读取数据的逻辑地址后，根据所述逻辑地址从外部存储单元中读取数据，以及将从外部存储单元读取到的数据与对应的逻辑地址更新到高速缓存单元中。