[发明专利]基于时序神经通路的深度强化学习模型中毒检测方法及其装置

说明书

本发明公开了一种基于时序神经通路的深度强化学习模型中毒检测方法及其装置，包括：定义深度强化学习的时序神经通路，并依据时序神经通过定义构建包含卷积层和池化层的第一部分、包含全连接层的第二部分的深度强化学习模型的时序神经通路，具体过程为：通过多次查找得到第一部分的Top‑c神经元，该Top‑c神经元与第二部分的所有神经元投入神经元池，依据神经元池构建深度强化学习的时序神经通路；将样本数据输入至深度强化学习模型中，利用构建的时序神经通路的反向传播生成扰动，将扰动添加到输入样本得到中毒样本；将中毒样本输入至深度强化学习模型，依据深度强化学习模型的决策动作变化检测深度强化学习模型是否中毒。

技术领域

本发明属于中度检测领域，具体涉及一种基于时序神经通路的深度强化学习模型中毒检测方法及其装置。

背景技术

深度强化学习(Deep Reinforcement learning,DRL)是人工智能领域的一个新的研究热点。自提出以来，在许多需要感知高维度原始输入数据和决策控制的任务中，深度强化学习方法已经取得了实质性的突破。DRL 已广泛应用于不同领域，包括游戏博弈、自动驾驶、医疗健康、金融交易、机器人控制、网络安全、计算机视觉等等。

人工智能技术在众多领域替代人类进行自主决策，但是近期研究表明，深度强化学习模型容易受到不同类型的恶意攻击，深度强化学习算法存在的安全漏洞使得深度强化学习系统的完整性、可用性和机密性受到极大威胁。随着人工智能领域的快速发展，各个领域已经将人工智能技术融入到应用层，然而人工智能的应用安全问题的需求日渐迫切。

在游戏领域，为了提高用户体验，在很多场景下需要训练AI自动玩游戏，目前，游戏训练场景接受度最高的是深度强化学习。自动驾驶领域也在不断探索中，强度强化学习的出现，对其发展也是起到很大推动作用。深度强化学习模型充分利用了卷积神经网络处理大数据的能力，将场景作为输入，其输出可以使动作概率也可以是动作评价值。然而神经网络极易受到对抗性攻击，专家学者们也提出了很多攻击方法和防御方法，目前提出防御方法比较多的是利用强化学习做防御而不是对强化学习模型进行防御。强化学习的安全性必然会成为其发展的重要隐患因素之一。

强化学习的过程就是智能体与环境不断的交互学习。最终学会根据环境状态决定执行的动作，使得最后的奖励最大。但强化学习模型训练过成中极易被恶意攻击者使用带有后门的数据对模型进行训练，从而使模型带有潜在的后门，甚至存在恶意者私自篡改模型中的参数，使模型留有后门。测试时触发样本会触发目标策略诱导智能体执行次优动作，最终影响整体决策。而这种攻击很难被发现，因此面向深度强化学习的检测防御方法有待进一步提升。

发明内容

针对目前深度强化学习模型易被中毒，并且中毒后难以检测的问题，本发明提供了一种基于时序神经通路的深度强化学习模型中毒检测方法及装置，可以通过时序神经通路上的神经元优化出近似中毒测试样本，通过近似中毒测试样本检测深度强化学习模型是否中毒。

本发明实现上述发明目的所采用的技术方案如下：

第一方面，一种基于时序神经通路的深度强化学习模型中毒检测方法，包括以下步骤；

获取深度学习样本数据；

定义深度强化学习的时序神经通路，并依据时序神经通过定义构建包含卷积层和池化层的第一部分、包含全连接层的第二部分的深度强化学习模型的时序神经通路，具体过程为：通过多次查找得到第一部分的Top-c 神经元，该Top-c神经元与第二部分的所有神经元投入神经元池，依据神经元池构建深度强化学习的时序神经通路；

将样本数据输入至深度强化学习模型中，利用构建的时序神经通路的反向传播生成扰动，将扰动添加到输入样本得到中毒样本；

将中毒样本输入至深度强化学习模型，依据深度强化学习模型的决策动作变化检测深度强化学习模型是否中毒。

优选地，查找第一部分的Top-c神经元的过程为：