[发明专利]稀疏矩阵向量乘并行任务粒度参数自动调优方法和装置

说明书

本发明属于并行计算领域，公开了一种稀疏矩阵向量乘并行任务粒度参数的自动调优方法和装置，其方法包括预测模型构建步骤，使用机器学习的方法构建预测模型；统计特征取值获取步骤，对矩阵原始数据文件进行分析，获取矩阵的统计特征取值；最佳任务粒度参数预测步骤，将获取的统计特征取值输入预测模型，预测使用该矩阵特征值作为输入时SpMV程序的最佳并行任务粒度参数取值；配置步骤，根据预测结果，调整并行运行时系统任务粒度。本发明装置包括预测模型构建模块、统计特征取值获取模块、最佳任务粒度参数预测模块和配置模块。本发明通过自适应选择SpMV在不同输入矩阵时的并行任务粒度，实现提高并行程序负载平衡和整体计算性能的目的。

技术领域

本发明涉及并行程序任务分配技术，尤其涉及一种稀疏矩阵向量乘并行程序的任务粒度参数自动调优方法和装置。

背景技术

在科学计算和人工智能领域，稀疏矩阵向量乘运算(Sparse Matrix-VectorMultiplication,SpMV)作为基本算子，已得到了广泛的应用，其对应的运算模块也是该领域软件中最耗时的模块之一。不同于稠密矩阵，稀疏矩阵仅有少量的非零元素，其多数元素是零元。这些零元对运算结果不会产生影响，而存取零元并对其进行运算会有额外的开销，导致运算效率低下。

为此，研究人员通过利用矩阵的稀疏特性，以压缩存储格式的方式只存储稀疏矩阵中的非零元，从而避免对零元的处理、减少了矩阵的存储与访问开销。常见的稀疏矩阵存储格式包括Coordinate List(COO)、Compressed Sparse Row(CSR)、ELLPACK(ELL)、HybridELL+COO(HYB)等。矩阵的稀疏结构和所采用的存储格式都会对稀疏矩阵运算性能产生影响。

实际应用中产生的稀疏矩阵的非零元分布具有不规则性，同时计算机系统存储层次结构较为复杂，给稀疏矩阵的运算性能优化工作带来了巨大的挑战。目前的优化工作主要从两方面展开：一方面，通过引入新的稀疏矩阵存储格式和对应的SpMV实现算法，重新组织非零元的布局，以充分利用处理器的高速缓存和宽向量功能部件，从而兼顾上层稀疏矩阵特性和底层硬件体系结构特征；另一方面，通过使用并行化方法，将稀疏矩阵运算任务划分并分派到并行计算机系统上并发执行。这些方法会引入大量的配置参数，并产生一个巨大的优化变量空间。在这个优化变量空间中，以穷举的方式找寻最优配置参数显然是不可行的。因此，面向稀疏矩阵向量乘运算，研究自动化的性能优化方法以获取最优配置参数，具有十分重要的意义。

具体来说，由于计算SpMV相邻两行结果之间没有依赖关系，每行的累积计算可看作一个独立的子任务，故SpMV具有易扩展的特点。假设处理器有t个线程，在默认情况下会将稀疏矩阵的m行划分成t个子任务，每个线程负责一个子任务，其大小为g＝m/t(任务粒度)。当任务粒度g＝m/(2·t)时，每个线程负责2个任务；当任务粒度g＝m/(4·t)，每个线程负责4个任务，以此类推……，当任务粒度g＝m/(K·t)，每个线程负责K个任务。使用不同的任务粒度将会产生不同的任务到线程的分配方式，并影响线程间的负载均衡。特别地，随着处理器线程数量和矩阵规模的变大，任务到线程的分配方式和任务粒度呈现急剧地增长，导致了一个巨大的优化空间。因此，对于给定的稀疏矩阵数据集和多核处理器平台，有必要构建相应的最佳任务粒度预测模型，以平衡多个线程间的计算与访存负载，使得稀疏矩阵数据集、SpMV并行计算任务及硬件平台间形成最佳匹配，从而最大程度地挖掘多核处理器的计算潜能，提升SpMV并行任务计算效率。

发明内容

本发明的目的在于：通过构建模型自动地调整并行运行时系统的任务粒度参数，提高稀疏矩阵向量乘(SpMV)并行程序在多核处理器上的负载平衡和整体运算性能。

本发明是这样实现的：一种基于机器学习的稀疏矩阵向量乘并行任务粒度参数自动调优方法，包括：