[发明专利]用于TOPK操作的方法和系统

说明书

本公开涉及用于TOPK操作的方法和系统。例如，一种方法包括接收TopK指令以对向量数据的最大K个元素进行排序。向量数据的前K个元素被排序并存储在第一寄存器中。读取向量数据的另一元素，并确定其值是否大于或者在前K个元素的值的范围内。如果另一元素的值在值的范围内，则确定另一元素在前K个元素内的位置。在确定另一元素在前K个元素中的位置之后，将前K个元素中小于另一元素的元素子集向下移位。在移位之后将另一元素插入经确定的位置。针对向量数据的每个剩余元素重复该过程。

相关申请的交叉参考

本申请要求于2020年10月23日提交的美国临时专利申请第63/105,140号的利益和优先权，该申请通过引用全部并入本文。

技术领域

本公开总体上涉及计算机技术领域，更具体地，涉及用于TOPK操作的方法和系统。

背景技术

电子设备已成为日常生活不可或缺的一部分。许多电子应用使用TopK操作对结果进行排序。例如，在机器学习(ML)的一个特定应用中，TopK用于识别大量数据条目中概率最高的前K个索引或条目，例如，在数千个类别中对图像进行分类。类似地，TopK操作已经成为其他应用(诸如关系数据库、文档和多媒体数据库中的ad-hoc搜索和检索等)中的常见运算符。

一般来说，为了执行TopK，向量中的元素被相互比较，以便按排序顺序识别最大的K值，并且同时还跟踪与这些最大K值中的每一个相关联的索引位置。由于ML应用的增加以及交换数据量的增加，近年来处理的数据量大幅增加。虽然比较向量的元素来以排序顺序识别最大K值对于小向量可能是可行的，但对于较大的向量长度(特别是考虑到数据量的增加)来说，计算变得昂贵，这是因为大量的计算能力被浪费在对向量中不在前K个元素中的元素进行排序方面。其他常规方法依次识别给定向量内的最大值，并对下一个最大值重复该方法，直到对前K个值进行排序。不幸的是，以排序方式顺序识别最大值来获取前K个值需要多次重复特定指令，例如，多次读取向量元素、多次执行比较指令等，这导致计算效率低下。

发明内容

为解决上述问题，本公开提供了一种计算机实施的方法，包括：a)接收TopK指令，以对具有n个元素的向量数据的最大K个元素进行排序；b)对所述向量数据的前K个元素进行检索、排序，并存储在第一寄存器中；c)读取所述向量数据的另一元素；d)确定所述向量数据的所述另一元素的值是否大于或等于所述前K个元素的值的范围；e)如果所述另一元素的值大于或等于所述第一寄存器中的值的范围，则确定所述另一元素在所述前K个元素内的位置；f)在确定所述另一元素在所述前K个元素中的位置之后，将所述前K个元素中小于所述另一元素的元素子集向下移位；g)在移位之后将所述另一元素插入到空白位置中的经确定的位置中，以形成更新后的前K个元素；以及h)针对所述向量数据的每个剩余元素，重复步骤c)、d)、e)、f)和g)，直到所述向量数据的每个元素均被处理。

此外，本公开还提供了一种基于硬件的系统，包括：处理器，被配置为接收可执行指令，其中所述处理器进一步被配置为接收TopK指令，并且其中所述处理器被配置为响应于所述TopK指令而读取具有n个元素的向量数据中的前K个元素；以及一个或多个寄存器，被配置为存储数据以执行所述TopK指令，并且其中所述向量数据的所述前K个元素被排序并存储在所述一个或多个寄存器中，并且其中对于所述向量数据中的每个元素，所述处理器被配置为：a)确定所述向量数据的所述每个元素的值是否大于或等于所述前K个元素的值的范围；b)如果所述每个元素的值均大于或等于所述前K个元素的值的范围，则确定所述每个元素在所述前K个元素内的位置；c)在确定所述每个元素的位置之后，将所述前K个元素中小于所述每个元素的元素子集向下移位；d)在移位之后将所述每个元素插入到经确定的位置中，以形成更新后的前K个元素；以及e)针对所述向量数据的每个剩余元素，重复步骤a)、b)、c)和d)，直到所述向量数据的每个元素均被处理。