[发明专利]作为对机器学习模型字符串填充抑制的经投影的向量修改

说明书

本公开的实施例涉及作为对机器学习模型字符串填充抑制的经投影的向量修改。工件被接收，特征从该工件被提取以便填充向量。使用特征简化操作，向量中的特征可以被简化，以导致具有多个桶的经修改的向量。预定类型的特征的存在可以在经修改的向量的对得分的影响高于预定阈值的桶内被标识。然后在经修改的向量的高影响桶内所标识的特征的贡献被减弱。经修改的向量被输入到分类模型中，以生成可以被提供给消费应用或过程的得分。还描述了有关的装置、系统、技术和制品。

技术领域

本文中所描述的主题针对抑制(mitigate)诸如得分模糊和字符串填充的对抗性技术的效应，这些对抗性技术可以行动以使机器学习模型对特定的工件(artifact)进行错误分类。

背景技术

机器学习和其他类型的人工智能模型正在越来越多地跨不同的应用和行业被部署。这样的模型提供例如可以基于具有已知结果或特征的历史数据的分类。由这样的模型提供的分类(即，模型输出等)可以采取各种形式，包括布尔输出(例如，好/坏等)、数值得分(例如，0.00到1、1到100等)或者分组(例如，汽车、行人、人行横道等)。使用一些软件实现，这样的模型的输出即使当是更大的工作流的部分时也可以被拦截。这样的拦截可以允许恶意的行动者通过以下来操纵由此类模型进行的分类：反复修改样本输入数据直到接收到所期望的分类为止(即使这中分类不是最终准确的)。

发明内容

在第一方面，工件被接收，特征从该工件被提取以便填充向量。使用特征简化(feature reduction)操作，向量中的特征可以被简化，以得到具有多个桶(bucket)的经修改的向量。预定类型的特征的存在可以在经修改的向量的对得分的影响高于预定阈值的桶内被标识。然后在经修改的向量的高影响桶内所标识的特征的贡献被减弱。经修改的向量被输入到分类模型中，以生成可以被提供给消费应用或过程的得分。

分类模型可以将工件表征为对访问、执行或者继续执行是恶意的或者是良性的。在这种情况下，当分类模型将工件表征为是恶意的时，该工件的访问或者执行可以被防止、简化等。

分类模型可以是使用训练数据集而被训练并且提供连续量表输出的机器学习模型。机器学习模型可以采取各种形式，包括以下一项或多项：逻辑回归模型、神经网络、卷积神经网络、递归神经网络、生成对抗网络、支持向量机、随机森林或者贝叶斯模型。

预定类型的特征可以采取不同的形式，包括字母数字字符串。

多个向量化的恶意软件(malware)样本可以被输入到分类模型中，在这之后，基于所输入的向量化的恶意软件样本的多个得分可以被获取。基于这些分类，向量化的恶意软件样本的对得分的影响高于预定阈值的桶内，预定类型的特征可以被确定。

特征简化操作可以采取各种形式，包括以下一项或多项：主成分分析(PCA)、随机投影矩阵(RPM)、线性判别分析、典型相关分析、奇异值分解(SVD)、潜在语义索引(LSI)、离散余弦变换(DCT)、随机化主成分分析(RPCA)、或者大样本随机化主成分分析(LS-RPCA)。

还描述了存储指令的非瞬态计算机程序产品(即，物理地被体现的计算机程序产品)，该指令当由一个或多个计算系统的一个或多个数据处理器执行时，使至少一个数据处理器执行本文中的操作。类似地，还描述了可以包括一个或多个数据处理器和被耦合到该一个或多个数据处理器的存储器的计算机系统。存储器可以暂时或永久地存储使至少一个处理器执行本文中所描述的一个或多个操作的指令。另外，方法可以由一个或多个数据处理器实现，该一个或多个处理器或者在单个计算系统内，或者被分布在两个或两个以上计算系统间。这样的计算系统可以被连接并且可以经由一个或多个连接来交换数据和/或命令或者其他指令等，这些连接包括但不限于通过网络(例如，互联网、无线广域网、局域网、广域网、有线网络等)的连接、经由多个计算系统中的一个或多个计算系统之间的直接连接的连接等。