[发明专利]一种基于数据划分和任务分配的稀疏张量典范分解方法

说明书

本发明涉及一种基于数据划分和任务分配的稀疏张量典范分解方法，包括：初始时根据申威处理器的众核特性对核组上的多个处理核心进行多级划分与任务分配；初始时对稀疏张量数据进行多级分割处理；利用申威处理器SW26010的寄存器通信特性设计的针对稀疏张量典范分解的通信策略；针对不同稀疏张量典范分解方法的共同性能瓶颈，即矩阵化张量乘Khatri‑Rao积(简称MTTKRP)在具体运算时的不同需求，利用申威处理器的特性设计MTTKRP过程的不同计算方案。本发明充分挖掘了申威体系结构的特性，并充分考虑了稀疏张量分解的计算要求，能够并行且高效地在申威体系结构上完成多种稀疏张量典范分解计算方法，并最大限度地保证动态的负载平衡。

技术领域

本发明涉及张量数值算法、并行计算和申威体系结构等领域，特别是涉及一种基于数据划分和计算分配的稀疏张量典范分解方法。

背景技术

经国家并行计算机工程技术研究中心研制完成的“神威·太湖之光”新型超级计算机系统由国家863计划支持，该系统是世界第一台峰值运算性能到达十亿亿次量级的超级计算机，在2016-2017年间连续四次被国际TOP500组织评为世界性能最强的超级计算机，同时其上运行的应用曾获得“戈登·贝尔奖”。用户在该系统上实现的超大规模并行应用可涵盖数百万核，其应用覆盖多个领域，包括深度学习、地震仿真模拟、量子电路仿真、气候仿真模拟等。

“神威·太湖之光”超级计算机采用由国家高性能集成电路(上海)设计中心主持研制的SW26010异构众核处理器。在基本架构方面，该处理器片上集成了4个核组，每个核组包含六十四个从核阵列(运算核心阵列)以及一个主核(运算控制核心)，因此整片共计含4个运算控制核心和256个运算核心，其中运算控制核心以及运算核心的工作频率均为1.45GHz。在每个核组中，运算控制核心负责完成任务管理，和当下大部分主流CPU相同，可支持内存管理、中断和乱序执行；同时运算核心负责完成高效计算,其上部署了向量化部件等支持高速运算的设备。在存储设计方面，SW26010处理器采用多层次的存储架构，包含2级缓存，大小分别为32KB和256KB，同时也提供单核组8GB的主存空间。为了给用户提供较好的并行开发环境，“神威·太湖之光”平台提供了对C++、C、Fortran等多种编程语言的支持，并提供了对多种并行库、并行标准的接口，如MPI、OpenMP等。

在计算机领域，张量通常被视为多维数组，同时标量可以被视作0阶张量，向量可以看作1阶张量，而矩阵是2阶张量，等于或高于三阶的张量被称作高阶张量。同时稀疏张量指的是大部分值为非零值的张量。在实际工程和科研中，许多数据都是由高阶的稀疏张量表示的。比如亚马逊的用户评价信息，它包含产品信息、用户信息以及用户评级等多个数据维度，其中非零值只占总数据数量的百亿分之一；以及在Neural Information ProcessingSystem(NIPS)上发表的论文信息，包含论文ID、作者信息、发表年份等维度，非零值的比例为百万分之一；还有电子邮件的往来信息，包含发送接收的邮箱名称和日期等多维度的数据，其中非零值的比例为十亿分之一。