[发明专利]一种用于优化稀疏矩阵-向量乘的并行处理方法及装置

说明书

本发明提供一种用于优化稀疏矩阵‑向量乘的并行处理方法及装置，涉及并行程序任务分配技术领域，该方法包括以下步骤：输入待处理的稀疏矩阵，根据迭代次数，确定当前的优化选项，并根据当前的所述优化选项并行进行对应次数的迭代；获取每次迭代后的稀疏矩阵‑向量乘的性能，取迭代后得到的性能的平均值作为待处理的稀疏矩阵对应的稀疏矩阵‑向量乘的性能并输出，本发明通过执行不同的优化选项，并行进行对应次数的迭代，这些优化选项可供用户自主选择，将现有的关于SpMV运算的优化方案与选择策略相结合，综合考虑性能提升上、总时间开销上以及实际应用上等因素，设计一个多级优化框架，给SpMV运算带来更高的实用性。

技术领域

本发明涉及并行程序任务分配技术领域，尤其涉及一种用于优化稀疏矩阵-向量乘的并行处理方法及装置。

背景技术

在科学计算和人工智能领域，稀疏矩阵-向量乘(Sparse Matrix-VectorMultiplication,SpMV)运算有着广泛的应用。SpMV可在很多情况下代替稠密矩阵运算，可以大量节省内存占用，减少计算开销。矩阵向量乘法不同于矩阵和矩阵的乘法，而是属于完全访存密集型的计算。稀疏矩阵一般只存储非零元的信息，非零元的存储格式决定了访存的模式，这需要根据非零元的分布模式和要做的计算类型来设计。标准的稀疏矩阵存储格式主要有：坐标格式(Coordinate，COO)和压缩稀疏行格式(Compressed Sparse Row，CSR)等。

目前对稀疏矩阵运算的优化方法有很多种，包括存储格式与算法优化策略、基于机器学习的自动调优策略、使用图或超图分割技术的优化策略等。在存储格式与算法方面，主要工作方式有CSR5、Sliced ELLPACK等。在超图分割方面，主要工作方式有Fiduccia-Mattheyses(FM)算法、串行超图分割工具PaToH等。在机器学习的自动调优方面，主要工作方式有BASMAT自动调优器，BASMAT自动调优器通过机器学习训练了一个关于稀疏矩阵特征的DT分类器，通过DT分类器将稀疏矩阵按照其规则度分为三类，分别为：MB类：此类中的矩阵受内存带宽限制，通常表现出规则的稀疏结构；ML类：此类中的矩阵受内存延迟的约束，由于高度不规则的稀疏模式，在访问向量时显示出较差的局部性；TI类：此类中的矩阵具有非常不均匀的行长度，会出现负载均衡现象。通过这三种不同的分类，对不同的稀疏矩阵采取不同的SpMV算法的优化方法，MB采用CSR-sym，CSR-vi,CSR-delta；ML采用CSR-vertica；TI采用CSR-merge。

现有的SpMV运算中存在以下不足：

1.在性能提升上：新的SpMV运算在优化后得到的性能反而比使用基础的SpMV算法得到的性能低；

2.在总时间开销上：研究人员提出的大多数SpMV运算的优化方案致力于加快SpMV运算的执行速度，关注的时间开销仅仅只有SpMV的执行时间(Te)，这些SpMV运算的优化方案几乎没有考虑额外的时间消耗问题，比如格式转换所需的时间开销。

3.在实际应用上：对于一个实际问题的解决往往单靠一种优化方法是无法完成的，而是需要融合使用多种优化方法，但是机器学习的应用限制是不可忽视的，因为机器学习的模型是在确定的硬件环境上训练获得的，所以经过机器学习得到的模型也只能用在特定的硬件环境中，不能大规模的应用于其他的硬件环境。使得一些具有优秀性能的网络模型受到硬件的限制，无法应用到现实生活中。

综上所述，需要对现有的稀疏矩阵-向量乘运算进行改进。

发明内容

本发明提供一种用于优化稀疏矩阵-向量乘的并行处理方法及装置，用以解决现有技术中SpMV性能提升上、总时间开销上以及实际应用上存在的缺陷，实现设计一个多级优化框架，给SpMV运算带来更高的实用性。

本发明提供一种用于优化稀疏矩阵-向量乘的并行处理方法，包括以下步骤：

输入待处理的稀疏矩阵，根据迭代次数，确定当前的优化选项，并根据当前的所述优化选项并行进行对应次数的迭代；