[发明专利]面向自然语言处理的数据投毒防御方法及系统

说明书

面向自然语言处理的数据投毒防御方法及系统涉及信息技术领域，本发明由由词提取器、距离字库生成器、错误词距离计算器、候选正确词集计算器、正确词替换模块、离群样本清洗器和分类器比较器组成；实现本发明的步骤包括：1）单词纠错2）离群样本清洗3）分类器更新，本发明对中文文本攻击数据投毒起到有效的防御效果。

技术领域

本发明涉及信息技术领域。

背景技术

深度学习的安全性问题已经逐渐被学术界、工业界所认识到并且重视，就文本领域而言，垃圾邮件检测、有害文本检测、恶意软件查杀等实用系统已经大规模部署了深度学习模型，安全性对于这些系统尤为重要。深度学习算法无法有效地处理对抗样本。这些伪造的样本对人类的判断没有太大影响，但会使深度学习模型输出意想不到的结果。

比如当前市面上的问答式机器人和智能交互AI，它们通过庞大的语料库来学习，还会将用户和它的对话数据收纳进自己的语料库里，黑客可以在和它们对话时进行调教，从而实现让其说脏话甚至发表敏感言论的目的，这是一种典型的数据中毒情况。

数据中毒的根本原因，其实是机器学习方法并没有假设输入模型的数据可能有误，甚至有人会故意搅乱数据的分布。通常情况下，如果我们通过训练的方式来生成模型，我们期望的是数据准确率较高，较好地引导模型对数据的特征进行了解和认识，而这个假设恰好就让攻击者有机可乘。

近年来，基于数据污染和篡改操作的对抗攻击频频发生，诸如人脸解锁、人脸支付、智能安防等基于人脸识别的智能系统已不再安全，图像领域攻击也逐步迁移到文本分析领域，而产生类似的情况，如一条电影的差评，可以被基于LSTM的情感分析模型正确判断其情感倾向为负面，然而如果将其中的某些词做同义替换，如terrible替换为horrific或horrifying，原来的情感分析模型却给出了情感为正面的错误答案。为了进一步探索深度神经网络模型的脆弱性和安全盲点，增强深度学习模型针对对抗样例的鲁棒性，提高智能模型的稳定性，本发明给出了面向自然语言处理的数据投毒防御方法及系统。

数据投毒是人工智能自身数据安全风险，即通过在训练数据里加入伪装数据、恶意样本等行为可破坏数据的完整性，进而导致训练的算法模型决策出现偏差。对于一辆无人驾驶汽车，不同于逃逸攻击直接构造对抗样本对模型和系统发起攻击，由于智能汽车的识别模型通常是基于历史数据进行训练定期生成的，那么黑客就可以产生一些实时的数据或者说一些黑客以前已经习惯于走这些道路的数据，把这些数据输入到云端或者智能汽车系统中，从而实现让智能汽车按照黑客想要的路径去前进，利用数据投毒的方式来攻击人工智能系统。

数据投毒方式：

一种是采用模型偏斜方式，主要攻击目标是训练数据样本，通过污染训练数据达到改变分类器分类边界的目的。例如，Google反滥用研究团队的主管曾经介绍过发生在Google垃圾邮件分类器上的数据投毒攻击案例。一些最高级的垃圾邮件制造者试图通过将大量垃圾邮件提交为非垃圾邮件来使 Gmail 邮件分类器发生偏斜。

因此，在设计 AI 防御机制时，需要考虑以下事实：

攻击者一定会非常积极地将正常数据和异常数据之间的那条分界线转移到对他们有利的位置。

另一种则是采用反馈误导方式，主要攻击目标是人工智能的学习模型本身，利用模型的用户反馈机制发起攻击，直接向模型注入伪装的数据或信息，误导人工智能模型做出错误判断。反馈武器化是指将用户反馈系统武器化，来攻击合法用户和内容。一旦攻击者意识到模型利用了用户反馈对模型进行惩罚，他们就会基于此为自己谋利。比如说如果我们想攻击一个交互系统，比如说智能客服，每次它回答问题后，下面会弹出一个服务评分选项。那只要我们持续地给正确答案打1星，错误答案打5星。如果背后的模型没有对数据投毒攻击有所防范，那这个智能客服模型就会被成功干扰。