[发明专利]基于NVIDIAKeplerGPU汇编指令的单精度矩阵乘优化方法与系统

摘要

本发明涉及单精度矩阵乘优化方法，该方法基于NVIDIA Kepler GPU汇编指令，包括：根据A矩阵分块的列长度bm和B矩阵分块的行长度bn对原始矩阵进行分块，每个block处理<bm,bn>维度的输出矩阵C；在GPU二级存储上创建4个暂存空间smA，smB，smAx和smBx；从GPU一级存储上的矩阵A读取该smA大小的矩阵到该smA，从矩阵B读取该smB大小的矩阵到该smB；每次从该smA加载一列A矩阵分块数据到寄存器，从该smB加载一行B矩阵分块数据到寄存器，读取该寄存器内容，并运用乘加融合指令做矩阵乘运算，且在做矩阵乘运算的同时，从该GPU一级存储读取下一个该smA的一列到该smAx，并储读取下一个该smB的一行到该smBx；步骤5，做完该smA和该smB的矩阵乘以后，将该smA和该mAx地址互换，将该smB和该smBx地址互换。

主权项

一种单精度矩阵乘优化方法，其特征在于，该方法基于NVIDIA KeplerGPU汇编指令，包括：步骤1，根据A矩阵分块的列长度bm和B矩阵分块的行长度bn对原始矩阵进行分块，每个block处理<bm,bn>维度的输出矩阵C；步骤2，在GPU二级存储上创建4个暂存空间smA，smB，smAx和smBx；步骤3，从GPU一级存储上的矩阵A读取该smA大小的矩阵到该smA，从矩阵B读取该smB大小的矩阵到该smB；步骤4，每次从该smA加载一列A矩阵分块数据到寄存器，从该smB加载一行B矩阵分块数据到寄存器，读取该寄存器内容，并运用乘加融合指令做矩阵乘运算，且在做矩阵乘运算的同时，从该GPU一级存储读取下一个该smA的一列到该smAx，并储读取下一个该smB的一行到该smBx；步骤5，做完该smA和该smB的矩阵乘以后，将该smA和该mAx地址互换，将该smB和该smBx地址互换。