[发明专利]一种基于异构计算的人工智能加速方法及系统

说明书

本发明提供了一种基于异构计算的人工智能加速系统及方法，包括：基于TensorFlow计算框架实现FPGA、CPU异构计算，并通过逐步提升TensorFlow计算框架中深度学习网络的学习率直至学习率达到门阀上限后，逐步下降，获取局部最优解，实现基于异构计算的人工智能加速。本发明结合CPU、FPGA多种计算单元，在Tensorflow计算框架的基础上，通过学习率控制优化、框架优化、通信优化3个方面，提升该计算框架的计算速率，比CPU计算单元，运行时长减少了90％。

技术领域

本发明涉及异构计算技术领域，具体地，涉及一种基于异构计算的人工智能加速方法及系统，更为具体地，涉及一种基于异构计算的人工智能加速框架。

背景技术

人工智能处理速度受限于CPU多跳转设计，以及网络中心节点的集中式网络拓扑，无法满足紧耦合数据的大吞吐量计算任务，为了提升人工智能的计算速度，减少等待时间，需要利用并行计算机制，提升人工智能计算的运行速度，减少运行时间。GraphLab，CNTK，TensorFlow和Gorila等分布式处理框架虽然提升了人工智能算法的并行计算速率，但是处理对象主要是松耦合数据，在面对紧耦合数据时，计算能力表现的尤为不足。根本原因是这些分布式处理框架为了尽可能得到理想中的目标分类器，这些技术算法框架都采用了集中式的训练框架，这种框架将各计算节点上计算得到的参数都传递到了中心节点上，降低了网络的吞吐效率，造成了严重的网络拥塞，使中心节点成为整个网络，乃至整个系统性能提升的瓶颈。在面对自然语言识别等训练样本多、训练时间长，训练参数多的复杂训练任务，这种集中式的学习框架就不再适用。

为了解决中心节点拥塞问题，Uber在百度Ring Allreduce的基础上，提出了基于GPU的Horovod计算框架，该框架将网络设计为环路，解决了中心节点拥塞的风险，降低了训练时长，提高了系统吞吐量。

Sridharan等人提出Machine Learning Scaling Library设计框架，在云或者HPC集群中，利用Omni_path、InfiniBand高速网络等先进技术，实现了同步随机梯度下降，在分布式环境中，加速AI应用，取得较低的误差。Cho等人设计出了PowerAI DDL，通过优化通信协议，利用multi-ring提升了分布式环境下的深度学习效果。

专利文献CN107346170A(申请号：201710596217.7)公开了一种FPGA异构计算加速系统，包括现场可编程门阵列FPGA芯片；控制模块，用于确定待降低功耗的FPGA卡，并生成与各个待降低功耗的FPGA卡对应的控制指令；与FPGA芯片一一对应的控制寄存器，用于接收与自身对应的控制指令，并根据控制指令控制与FPGA芯片对应的电源模块的开关状态和/或控制FPGA芯片的工作状态。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于异构计算的人工智能加速系统及方法。

根据本发明提供的一种基于异构计算的人工智能加速系统，包括：基于TensorFlow计算框架实现FPGA、CPU异构计算，并通过逐步提升TensorFlow计算框架中深度学习网络的学习率直至学习率达到门阀上限后，逐步下降，获取局部最优解，实现基于异构计算的人工智能加速。

优选地，所述TensorFlow计算框架中深度学习网络的学习率包括：根据深度学习网络的不同层级采用不同幅度的学习率，以适应深度学习网络的多层级结构。

优选地，还包括：根据CPU和FPGA的运行状态，分析计算线程不足是影响TensorFlow性能的关键问题，优化神经网络节点权值计算方式，改善AI在集群环境中的吞吐量，实现基于异构计算的人工智能加速。

优选地，所述优化神经网络节点权值计算方式包括：使用批处理的方法，对对ResNet-50的计算单元进行权值计算，并更新到Tensorflow中。

优选地，还包括：调整数据包大小和调度数据包的最佳通信时机，实现基于异构计算的人工智能加速。