[发明专利]一种串匹配场景下数据集生成方法、设备和可读存储介质

说明书

本发明涉及一种串匹配场景下数据集生成方法、设备和可读存储介质。该方法包括以下步骤：1)独立地生成模式串的每个字符，形成预设规模和预设长度的随机模式串集合；2)根据已生成的随机模式串集合，构造指定命中水平的文本数据集；3)输出生成的随机模式串集合和文本数据集。该设备包括通过总线连接的接收器、处理器、存储器和发送器，所述存储器用于存储串匹配场景下数据集生成指令。本发明能够生成预设规模预设长度的随机模式串集合，根据已生成的随机模式串集合可以构造指定命中水平的文本数据集，该随机模式串集合和文本数据集能够用于串匹配算法的功能测试和性能测试，对串匹配算法的进一步研究和性能提升有重要的作用。

技术领域

本发明属于信息技术领域，涉及串匹配算法的测试技术，具体涉及一种串匹配场景下数据集生成方法、设备和可读存储介质。

背景技术

串匹配算法是计算机研究领域的一个经典问题，是实现网络安全系统采用的关键技术之一。串匹配算法在网络安全领域的典型应用包括入侵检测系统(IPS)、入侵防御系统(IDS)、防病毒系统(AV)、垃圾邮件过滤系统和统一威胁管理(UTM)等等。

串匹配算法的研究已经有几十年的历史，根据所匹配的模式串的数量，分为“单模式串匹配算法”和“多模式串匹配算法”。经典的单模式匹配算法有KMP和BM。在实际应用中，由于多模式匹配算法的应用、执行效率更高，因此，大多数系统是基于多模式匹配算法实现的。多模式匹配算法的代表性算法有AC、Multiple Shift-And、Commentz-Walter、Wu-Manber、SBDM、SBOM、Multiple BNDM等。虽然串匹配算法方面的研究成果众多，但海量数据的处理和新的应用需求对串匹配算法提出了新的技术挑战。

在串匹配算法的研究和测试过程中，如何获取测试串匹配算法的数据集是一个非常重要的内容。由于受时间、数据规模、数据多样性等一些原因的限制，很难获得充分有效的测试数据集。此外，不同的串匹配算法对测试数据集的要求不同，适用的数据集对于串匹配算法的不断发展起着至关重要的作用。

在串匹配算法测试的过程中，用于算法测试的数据集由模式串集合和待匹配文本数据集构成。目前用于串匹配算法测试的数据集一般是从开源系统中提取的真实数据集，包括MIT入侵检测数据集(DARPA Intrusion Detection Data Sets:http://www.ll.mit.edu/mission/communications/)、开源入侵检测和防御系统Snort(Snort:http://www.snort.org/)规则集等。

MIT入侵检测数据集：MIT林肯实验室创建的入侵检测评估数据集，是入侵检测领域使用最为广泛的测试数据集，该数据集模拟了美国Eyrie空军基地的主机被实施分布式拒绝服务攻击的情形。该数据集内容全面，有较为详细的攻击说明文档，同时也是到目前为止得到大家普遍公认，在串匹配算法研究中常使用的待扫描数据集。

Snort是一个轻量级网络入侵检测系统，可以用来检测网络攻击。Snort的基础库代码为libcap，规则集是它的核心，是其检测攻击行为的知识库，通过配置规则可以检测命中的数据流是否存在异常，并根据用户定义的动作对数据流进行处理。

虽然上面介绍的真实数据集已经在串匹配算法的测试过程中得到了应用，但是它们也有其不足之处。首先，MIT入侵检测数据集的内容比较陈旧，无法适应现阶段的应用环境；其次，MIT数据集的规模、Snort规则集中模式串的数量是固定的，不能根据算法的需求任意增加或者减少数据的规模，所以不能满足测试数据集的多样性需求；最后，MIT数据集和Snort规则集是相互独立的，且有可能会出现命中结果为0的情况，所以无法测试不同命中水平的文本数据集对串匹配算法性能的影响。

此外，测试结果只能说明串匹配算法在该测试数据集上的应用情况，无法分析和推断串匹配算法在其他数据集上的表现。