[发明专利]基于阻变式存储器的模型在线迁移训练方法、装置及芯片

说明书

本发明公开了一种基于阻变式存储器的模型在线迁移训练方法、装置及芯片。该方法包括：通过获取需要映射至阻变式存储器上的神经网络模型的各层对应的神经网络权重，神经网络权重基于对神经网络模型的离线训练过程得到，并获取阻变式存储器所支持的多个电导的电导偏移函数，从而根据电导偏移函数，通过迭代训练对神经网络模型进行在线迁移训练，以对神经网络权重进行更新，进一步的，根据更新后的神经网络权重，对忆阻器阵列电导值进行更新，得到训练后的阻变式存储器。如此，使得映射至阻变式存储器的阵列上的神经网络权重具有更好的适应性，有效解决了传统在线训练方法在单一时间下执行迁移训练的过拟合问题。

技术领域

本发明涉及存算一体芯片设计领域，尤其涉及一种基于阻变式存储器的模型在线迁移训练方法、装置及芯片。

背景技术

近年来，人工智能的研究和应用已取得重大突破。目前通用处理器GPUGPU(graphicsprocessingunit，图形处理单元)和专用处理器TPU(tensorprocessingunit，张量处理器)都在加速神经网络训练和推理方面效果显著。但是CMOS电路要完成复杂的任务会消耗大量的能量，能效较低。相比基于CMOS)互补金属氧化物半导体)的神经网络芯片，RRAM(ResistiveRandomAccessMemory，阻变式存储器)芯片具有片上权重存储、在线学习、可扩展为更大阵列的优势。并且RRAM芯片能够快速完成神经网络核心计算—矩阵-向量乘法，大幅提升计算能效，是未来实现高性能人工智能芯片的关键技术之一。

目前利用阻变式存储器的推理方面和训练方面，已有较多的研究。但是由于忆阻器器件本身存在非理想特性，这些非理想特性将会对基于阻变式存储器进行在线训练的过程造成影响，导致在线训练得到的模型精度较低。

发明内容

本发明实施例为了解决上述问题，创造性地提供一种基于阻变式存储器的模型在线迁移训练方法、装置及芯片。

根据本发明第一方面，提供了一种基于阻变式存储器的模型在线迁移训练方法，所述方法包括：获取需要映射至阻变式存储器上的神经网络模型的各层对应的神经网络权重，所述神经网络权重基于对所述神经网络模型的离线训练过程得到；获取所述阻变式存储器所支持的多个电导的电导偏移函数；根据所述电导偏移函数，通过迭代训练对所述神经网络模型进行在线迁移训练，以对所述神经网络权重进行更新；根据更新后的神经网络权重，对所述阻变式存储器的忆阻器阵列电导值进行更新，得到训练后的阻变式存储器。

根据本发明一实施方式，所述获取所述阻变式存储器所支持的多个电导的电导偏移函数，包括：针对所述阻变式存储器所支持的多个电导中的每一电导，每间隔设定时间采集一次所述电导的电导值，以确定每一电导随时间的变化曲线；根据所述变化曲线，确定所述电导的电导值概率密度函数，作为针对所述电导的电导偏移函数。

根据本发明一实施方式，针对所述阻变式存储器所支持的多个电导中的每一电导，每间隔设定时间采集一次所述电导的电导值，以确定每一电导随时间的变化曲线，包括：将所述阻变式存储器的电导配置为所述阻变式存储器所支持的最小理想电导，每间隔设定时间采集一次采集所述最小理想电导的实际电导值，并记录所述实际电导值和时间；在对所述最小理想电导的实际电导值采集次数达到设定采集次数的情况下，根据所述实际电导值和时间，确定所述最小电导随时间的变化曲线；将所述阻变式存储器的电导配置为第二理想电导，所述第二理想电导的值等于在所述最小理想电导的基础上增加一倍的理想电导步长，重复执行上述操作，确定所述第二理想电导随时间的变化曲线；由此，循环执行上述操作，直至将所述阻变式存储器的电导配置为最大理想电导，所述最大理想电导的值等于在所述最小理想电导的基础上增加N-1倍的理想电导步长，重复执行上述操作，确定所述第最大理想电导随时间的变化曲线；其中，N表示所述阻变式存储器所支持的电导个数；所述理想电导步长等于所述最大理想电导和所述最小理想电导的差值与所述阻变式存储器所支持的电导个数的比值。