[发明专利]一种基于自学习的机器学习模型更新方法及系统

说明书

本发明提供了一种基于自学习的机器学习模型更新方法，包括：创建原机器学习模型并部署在线上；原机器学习模型检测恶意攻击存储到负样本库；当所述负样本数达到设置阈值，触发机器学习训练任务，创建新机器学习模型；根据设定的模型更新策略进行模型更新。一种基于自学习的机器学习模型更新系统，包括：负样本库单元，将检测到的恶意攻击进行存储；机器学习训练单元，在负样本数达到设置阈值时触发机器学习训练任务，创建新机器学习模型；模型更新单元，根据设定的模型更新策略进行模型更新。减少前期样本收集压力，上线后通过自学习收集样本进行训练；比较原模型和新模型精度决定是否更新模型，无需人工介入；克服对于外部不能推送更新的场景。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种基于自学习的机器学习模型更新方法及系统。

背景技术

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。

机器学习主要分为三种不同类的学习方法：

监督学习：通过已有的一部分输入数据与输出数据之间的相应关系。生成一个函数，将输入映射到合适的输出，比如分类。

非监督学习：直接对输入数据集进行建模，比如聚类。

半监督学习：综合利用有类标的数据和没有类标的数据，来生成合适的分类函数。

无论何种类型的机器学习方法，其过程都包含模型训练以及预测过程。在预测的时候，都是基于已训练的模型进行预测，预测结果的好坏，主要取决于训练模型的优劣。决定模型的优劣的因素包括多方面的，选择的算法，算法参数的调优，算法的组合以及样本数量和质量。

在安全领域，样本的收集是费时费力，而且价格不菲。前期在模型训练的时候，由于缺少丰富的攻击样本，训练处理的模型很难达到最优的水平，需要在后期进行不断的迭代更新。

具有机器学习模型预测功能的设备产品销售给客户，并且该设备产品部署在客户的内网中，从网络安全的角度考虑，外部是无法给该产品设备进行模型更新的。对应这种场景，迫切需要一种自学习的模型更新机制对现有模型进行更新。

工业界对机器学习模型更新的方法主要有在线更新，进行在线推送版本号大于线上现有版本号的模型，线上程序进行无条件替换新的模型，该方法的主要缺陷是没有考虑到网络无法访问的场景。如果网络无法访问该产品，就无从谈起从外部对模型进行更新。

对于这种场景，现有的设备产品都是对模型不进行更新或者人工进行更新。这种方式的缺陷很明显，如果对模型不更新，前期需要收集的样本训练数必须很完备和全面，而且模型使用的算法必须是最优的，但这完全是不可能的，比如，随着科技的发展，对应的数据会越来越多，技术也会日新月异，所以不进行模型更新，随着时间的推移，该模型慢慢变得不可用。对于进行人工更新模型的方式，不仅需要人力物力，而且达不到实时性，有时可能需要中断业务进行模型更新，对应某些重要的业务不可中断的情况，这是灾难性的。

如今，网络攻击手段越来越多，花样繁多，并越来越先进。传统意义上的网络安全检测方法，如基于特征规则的正则匹配的方法，对于0day漏洞攻击等网络攻击无能为力。这时，就迫切希望将机器学习方法应用在网络安全检测方面。但由于传统的机器学习需要大量的样本进行模型训练，而对于网络安全，收集大量的带有恶意攻击的样本是非常困难的，也是不现实的。由于样本的收集困难，导致机器学习在网络安全中的应用效果不佳，受到了越来越多的挑战。

发明内容