[发明专利]一种基于GPU流的快速并行字符串匹配方法和系统

说明书

本发明公开了一种基于GPU流的快速并行字符串匹配方法，其通过优化后的基于GPU流的并行字符串匹配加速，实现内核级的任务并行。本发明首先将大数据任务分割成没有依赖关系的小数据任务，然后将小数据任务调度到每个GPU设备上运行。字符串数据集存储在低速的全局内存中，模式串具有较高的访问频率，存放在高速的共享内存中。通过根据应用需求和资源状态启动合适的CUDA流数量，使得所有的任务能够异步并发执行。本发明能够解决现有BF算法由于采用全部遍历字符的暴力检索导致计算过程存在许多无意义的匹配计算的技术问题，以及现有BK算法计算过程的时间复杂度高的技术问题，以及现有KMP算法移动策略不佳、速度较慢的技术问题。

技术领域

本发明属于互联网技术领域，更具体地，涉及一种基于GPU流的快速并行字符串匹配方法和系统。

背景技术

作为众多科学计算领域的基础，字符串匹配问题目前得到了广泛和深入的研究。字符串匹配在入侵检测、分子生物学、信息过滤、病毒检测、拼写检查、语言翻译、数字压缩、搜索引擎等诸多问题中得到广泛应用。

现有的字符串匹配算法主要包括：暴力检索(Brute Force，简称BF)算法、哈希检索(Robin-Karp，简称RK)算法、Knuth-Morria-Pratt(简称KMP)算法、Boyer Moore(简称BM)算法；其中，BF算法主要是通过暴力检索所有的字符匹配结果，直到匹配成功或匹配结束；RK算法是对BF算法的改进，其主要通过首先通过对比子串的hash值筛选子串，然后再对子串执行BF算法；KMP算法相比BF算法有比较大的改进，主要是通过消除主串指针的回溯提高算法效率；BM算法主要通过坏字符和好后缀规则加速字符移动效率，相比KMP速度快3-5倍。

然而，上述现有的字符串匹配方法，均存在一些不可忽略的缺陷：第一、上述BF算法采用全部遍历字符的暴力检索，计算过程存在许多无意义的匹配计算；第二、上述BK算法首先遍历所有可能匹配的子串的hash值，且大数据集计算的时间复杂度高；第三、上述KMP算法使用移位策略加速模式串的移动，但移动策略不是最优，速度较慢；第四、上述BM算法无法面向大数据集实现数据划分和基于GPU高并发设备的并行计算。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于GPU流的快速并行字符串匹配方法和系统。其目的在于，解决现有BF算法由于采用全部遍历字符的暴力检索导致计算过程存在许多无意义的匹配计算的技术问题，以及现有BK算法计算过程的时间复杂度高的技术问题，以及现有KMP算法移动策略不佳、速度较慢的技术问题，以及现有BM算法无法面向大数据集实现数据划分和基于GPU高并发设备的并行计算的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于GPU流的快速并行字符串匹配方法，是应用在包括一个主节点和多个从节点的分布式计算系统中，所述方法包括以下步骤：

(1)主节点接收用户提交的应用程序，对该应用程序进行解析，以得到DAG图；

(2)主节点对步骤(1)中DAG图中任务所对应的数据进行分割处理，以得到分割后的多个数据块；

(3)主节点将步骤(2)得到的分割后的数据块发送到从节点。

(4)从节点判断每个数据块中是否存在多个分割点。如果是则转入步骤(5)，否则转入步骤(6)；

(5)从节点按照分割点对步骤(2)得到的每个数据块进行分割，以得到多个分割后的数据块，并创建k个GPU执行流，并将分割后的数据块平均分配给k个GPU执行流进行处理，以得到k个并行执行的任务执行流，其中k为小于等于64的整数；

(6)从节点对步骤(2)得到的每个数据块按照前55％和后55％两部分进行分割，以得到独立的两个数据块，并将分割后的两个数据块分配给两个GPU执行流处理，以得到2个并行执行的任务执行流；