[发明专利]基于RISC-V和存内计算的AI推理方法及系统

说明书

本发明公开了基于RISC‑V和存内计算的AI推理方法及系统，属于人工智能技术领域。本发明设计存算一体结构式协处理器，存内计算将运算单元和存储单元相融合，可以避免卷积神经网络运算过程中大量且频繁的数据搬运，而带来的巨大功耗。同时可以大幅提升算力，适用于多类AI的应用场景；本发明采用RISC‑V指令集架构的CPU，扩展五条RISC‑V指令，与基于模拟方法的存算一体结构式协处理器协作，设计量化单元，通过调用对应的RISC‑V指令，使得深度学习算法的执行过程将根据其特性，分别在数字域、量化域和模拟域中进行计算，极大地降低系统功耗，实现高性能的AI推理，并且使得用户可以针对具体应用场景进行二次开发。

技术领域

本发明涉及基于RISC-V和存内计算的AI推理方法及系统，属于人工智能技术领域。

背景技术

当前，人工智能(AI)技术已经广泛应用于图像识别、语音识别、医疗卫生、自动驾驶、海量数据分析、智慧医疗和智慧城市等领域。深度学习是实现AI的主流方法，通常我们将深度学习模型分解为训练与推理两个部分。训练过程中，需要利用样本数据和其对应的标签训练神经网络的权重、偏差参数；推理过程中，将代入训练完成的神经网络的权重、偏差参数，对实际问题进行求解。

然而，随着AI技术的发展，传统的冯·诺依曼式计算体系结构“功耗墙”和“存储墙”的问题日益突出，限制了AI技术的应用。尤其不适用于可穿戴式生命体征监护设备、AR/VR元宇宙设备、无人机等对算力与功耗同时提出较高要求的领域。

存算一体结构是一种新的计算体系结构，如图1所示，其基本思想是通过将权重映射存储到存算阵列内，从而把一些简单但数据量巨大的逻辑计算功能放在存储器中完成，以减少存储器与处理器之间的数据传输量以及传输距离。可以有效缓解冯·诺伊曼式计算体系结构的“功耗墙”与“存储墙”问题。存算一体结构将存储单元与运算单元融合，利用模拟电路对矩阵运算执行加速，可以大幅提高算力的同时大幅降低功耗。

存内计算是存算一体结构的一种，在存算介质中预先存储权重，并利用物理定律表征深度学习算法中频繁、复杂的乘累加过程，实现基于模拟域的深度学习推理，提升算力的同时极大地降低系统功耗。然而，基于模拟域的存内计算技术，仅能对乘累加(MAC)计算过程实现高性能的处理，灵活性和可扩展性差，无法供用户对实际应用进行二次开发。

发明内容

为了解决目前存内计算技术存在的灵活性和可扩展性差，无法供用户对实际应用进行二次开发的问题，本发明提供了基于RISC-V和存内计算的AI推理方法及系统，将存算阵列作为协处理器用于针对性处理深度学习算法，利用RISC-V指令集架构的CPU在数字域完成对全局的控制，通过扩展RISC-V指令实现存算协处理器的调用与控制，数模混合设计方案实现了高性能的AI推理方法及系统，所述技术方案如下：

本发明的第一个目的在于提供一种协处理器，包括：高压驱动单元与依次连接的量化单元、DAC单元、存算阵列、读出单元、ADC单元和反量化单元；

所述量化单元用于对输入数据的定点数量化；所述DAC单元用于将量化后的数字信号转换为模拟信号；所述高压驱动单元用于控制所述存算阵列的工作模式；

所述存算阵列基于NOR FLASH存算器件，预先将量化后权重数据写入NOR FLASH中；在运算执行的工作模式下，所述权重数据与输入数据进行乘法操作；在数据读出的工作模式下，所述NOR FLASH存算器件中存储的运算结果被所述读出单元读出，在电流域中根据基尔霍夫电流定律，运算结果作为支路电流相加，得到矩阵运算的结果；

所述读出单元用于将所述NOR FLASH存算器件中存储的结果数据读出；所述ADC单元用于将模拟信号转化成数字信号；所述反量化单元用于将量化后的定点数据反量化回对应的浮点数。

可选的，所述存算阵列的工作过程包括：