[发明专利]动态多通道的神经网络SOC芯片及其通道资源分配方法

说明书

本发明提供一种动态多通道的神经网络SOC芯片及其通道资源分配方法，增设动态分配通道资源电路，该电路包括源统计单元、DDR访问分组单元、分组配置存储单元、DDR访问通路矩阵单元、终端统计单元以及复数个DDR通道；所述动态分配通道资源电路的在工作过程中，每个源统计单元对神经网络层的数据流量进行统计后送往DDR访问分组单元；由所述DDR访问分组单元判断各个神经网络层的输入数据量和DDR通道的数据量，并以此调整DDR通道的连接关系形成新的DDR通道使用分组关系；再由所述DDR访问通路矩阵单元对数据源通路和DDR通道进行分组互联。从而实现动态分配通道资源，使得人工智能芯片的带宽问题得到有效解决解决。

技术领域

本发明涉及一种人工智能设备，特别涉及一种神经网络SOC芯片及其通道资源分配方法。

背景技术

随着人工智能技术的快速发展，人们对人工智能设备的性能需求越来越高。但是当前困扰深度学习神经网络设备快速发展的一大阻碍就是神经网络结构和运行方式需要大量的数据搬移。比如神经元、权值、阈值、卷积核数据读取，每层神经网络的中间运算结果，反馈训练时的误差计算和回写，最终结果造成了已有的SOC芯片的存储结构不堪重负，存储带宽很容易成为深度学习神经网络的性能瓶颈。

因此本发明提出了一种神经网络SOC芯片，具有自适应超大带宽的深度学习能力，通过多组独立的DDR通道,动态分配通道资源，使得每层或者每几层神经网络都可能被分配到独立的DDR通道，使得人工智能芯片的带宽问题得到有效解决。

发明内容

本发明要解决的技术问题，在于提供一种动态多通道的神经网络SOC芯片及其通道资源分配方法，通过多组独立的DDR通道,动态分配通道资源，使得人工智能芯片的带宽问题得到有效解决解决。

本发明的神经网络SOC芯片是这样实现的：一种动态多通道的神经网络SOC芯片，包括神经网络电路和动态分配通道资源电路；

所述神经网络电路包括复数个神经网络层，每个神经网络层具有一数据源通路；

所述动态分配通道资源电路包括复数个源统计单元、一DDR访问分组单元、一分组配置存储单元、一DDR访问通路矩阵单元、复数个终端统计单元以及复数个DDR通道；复数个所述源统计单元分别一一对应连接各所述神经网络层的数据源通路；复数个所述源统计单元还均连接至所述DDR访问分组单元和DDR访问通路矩阵单元；所述DDR访问分组单元、所述分组配置存储单元、所述DDR访问通路矩阵单元依次连接；每个所述DDR通道均对应通过一所述终端统计单元连接所述DDR访问通路矩阵单元；复数个所述终端统计单元还均连接至所述DDR访问分组单元；

所述动态分配通道资源电路工作过程中，每个所述源统计单元都会对由对应神经网络层经过自身的数据流量进行统计，并将统计信息送往所述DDR访问分组单元；在神经网络电路工作完成并停止后，所述DDR访问分组单元开始判断各个神经网络层的输入数据量和DDR通道的数据量，并以此调整DDR通道的连接关系形成新的DDR通道使用分组关系，并把新的DDR通道使用分组关系写到所述分组配置存储单元；所述DDR访问通路矩阵单元根据分组配置存储单元的配置对数据源通路和DDR通道进行分组互联。

进一步的，所述DDR通道包括依次连接的DDR控制器、DDR PHY、DDR IO以及DDR颗粒，所述DDR通道通过所述DDR控制器连接所述终端统计单元。

进一步的，所述动态分配通道资源电路第一次工作前，先对分组配置存储单元写入通道配置初始值；该通道配置初始值满足条件是：尽量使用所有的DDR通道，尽量使每个神经网络层都有独立的DDR通道，如果通道数量少于神经网络层数，则随机多层共用一个DDR通道。

进一步的，所述分组配置存储单元由非易失性存储器构成。

进一步的，所述源统计单元对数据流量的统计方法具体为：读写分开统计，累加每笔读或写传输的突发传输长度和位宽，单笔数据流量＝突发传输长度×位宽。