[发明专利]在线反馈的知识蒸馏方法和装置

说明书

本申请公开了一种在线反馈的知识蒸馏方法及装置，该方法包括：基于两个状态机设计蒸馏模型，以构成决策系统，其中，第一个状态机表示模型决策结果，第二个状态机关联模型决策结果和专家反馈状态；根据蒸馏模型将在线蒸馏过程分为两个阶段：更新阶段和测试阶段；其中，更新阶段将更新后的专家反馈融入决策系统中，测试阶段将蒸馏模型作为插件和原始模型一起参与决策。本发明不依赖于全新的蒸馏模型进行检测，同时能很好的支持在线反馈和更新蒸馏模型，易于维护和使用，通用性强。基于蒸馏模型，操作人员可以更快的进行模型理解，模型的检测效果也能得到有效提升。

技术领域

本发明涉及人工智能、机器学习技术领域，特别涉及一种在线反馈的知识蒸馏方法和装置。

背景技术

近年来，人工智能、机器学习技术被广泛应用到各类网络安全应用中，实现了较好的检测效果。由于机器学习、特别是深度学习模型决策过程复杂，对使用者而言具有不透明性和黑盒不可解释性，导致这些智能系统的决策过程封闭，安全操作人员和专家无法参与进决策过程并提供专家知识反馈。

目前，机器学习、特别是深度学习技术为众多网络安全应用提供了全新的解决方案，显著提高了检测精度。与使用人工智能技术的其他领域(如图像处理、语音识别)不同，安全领域处理数据复杂、错误容忍度低、专家知识要求高，这就要求安全应用应该有专家知识的参与和操作人员的判断(即human-in-the-loop)，而不应该是一个全自动化的系统。然而，由于深度学习模型的透明性和可解释性差，专家参与决策过程面临着如下挑战：一方面，由于模型的可解释性差，安全操作人员很难理解模型的决策过程，如果决策过程和结果都无法理解，反馈和知识融入也就无从谈起；另一方面，由于模型的透明性差，解释专家想要提供反馈，也不知道如何修改模型进行知识融入。

目前，“知识蒸馏”技术被广泛应用在模型压缩和迁移学习中，其主要思想是通过一步一步地使用一个较大的已经训练好的网络去知道训练一个较小的网络，通过蒸馏和提炼复杂模型中的核心知识来降低模型复杂度，提高模型可用性。模型蒸馏方法也被用于提高模型的可解释性上，比如将可解释性差的模型蒸馏成一个可以解释的简单模型(如决策树)。然而，人工智能领域的知识蒸馏技术是将复杂模型蒸馏成一个新的简单模型，解决了对原有模型的理解和解释，本质上并没有解决如何将专家知识和反馈融入到模型中的问题，虽然蒸馏后的简单模型透明性强，理论上可以对新模型进行修改，但蒸馏到新模型的过程不可避免的带来了精度的损失；此外，多数蒸馏后的模型(如决策树)无法很好的支持在线更新，需要进行额外的处理才能适配，增加了模型的复杂程度和安全人员的操作难度。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，为了解决已有方法的缺陷，本发明提出了一种新的支持在线反馈的模型蒸馏方法。和人工智能领域的知识蒸馏方法有所不同，本发明中“知识蒸馏”中的“知识”不仅指复杂模型的知识，还包括专家知识(反馈)。同时，本发明不对原始深度学习模型进行修改，也不完全使用新的蒸馏模型进行检测，而是将蒸馏方法作为原模型的一个后置的“插件”，即保证了原模型的检测效果，又有很好的通用性。

本发明的另一个目的在于提出一种在线反馈的知识蒸馏装置。

为达到上述目的，本发明一方面实施例提出了一种在线反馈的知识蒸馏方法，所述方法包括：

基于两个状态机设计蒸馏模型，以构成决策系统，其中，第一个状态机表示模型决策结果，第二个状态机关联所述模型决策结果和专家反馈状态；

根据所述蒸馏模型将在线蒸馏过程分为两个阶段：更新阶段和测试阶段；其中，所述更新阶段将更新后的专家反馈融入所述决策系统中，所述测试阶段将所述蒸馏模型作为插件和原始模型一起参与决策。