[发明专利]基于相似性的恶意信息检测方法、装置及处理器

说明书

本申请涉及深度学习中的图像和文本识别领域，具体涉及一种基于相似性的恶意信息检测方法、装置、存储介质及处理器。方法包括：提取所述待审核图片的图像信息；计算所述图像信息与预设恶意图片库中的恶意图像信息之间的第一相似度；基于第一相似度判断待审核图片是否为恶意图片；判断所述待审核图片中是否包含文本信息；若是，则提取所述待审核图片的文本信息，计算所述待审核图片的文本信息与预设恶意文字库中的恶意文本信息之间的第二相似度；基于第一相似度判断待审核图片是否为恶意图片。本发明从图像、文字两方面出发，对待审核图片或视频进行检测，以提高检测的准确性，并依据是否包含文本对图片进行分类，以提高检测效率。

技术领域

本申请涉及深度学习中的图像和文本识别领域，具体涉及一种基于相似性的恶意信息检测方法、装置、存储介质及处理器。

背景技术

现阶段，信息传送的监管体制都在逐步完善，例如，为避免传送信息中包含恶意信息(恶意图片，用来传播营销信息；恶意文本，用来传播个人隐私信息)，审核机构就需要在信息发布之前，或信息传送之间对传送的信息进行智能化审核。

对于恶意视频直播中的文本的检测方式可以通过对语义进行分析，从而攻击行为监测预警系统，目前主要是通过提取关键词的方式，并将其和非文明用语进行匹配，从而实现对视频中文本的检测。但对于图片来说，通常是通过计算待识别图片和恶意图片之间的匹配度，从而实现恶意图片的检测。虽然该方法可以实现对视频中文字的分析，但由于视频数据量巨大，并且渠道繁多，视频发布者只需对敏感词汇进行修改、规避或是修改恶意图片上的像素，即可躲避智能化的检查，因此该方法具有一定的局限性，识别恶意图片的准确率较低。

发明内容

本申请实施例的目的是提供一种基于相似性的恶意信息检测方法、装置、存储介质及处理器，适用于审核机构在进行视频或图片审核时，提高审核的准确率。

为了实现上述目的，本申请第一方面提供一种基于相似性的恶意信息检测方法，其特征在于，包括以下步骤：获取待审核视频；从所述待审核视频中截取待审核图片；判断待审核图片是否为非恶意图片：提取所述待审核图片的图像信息；计算所述图像信息与预设恶意图片库中的恶意图像信息之间的第一相似度；若所述第一相似度高于或等于阈值，则将所述待审核图片归类为恶意图片；否则，判断所述待审核图片中是否包含文本信息；若不包含文本信息，则将所述待审核图片归类为非恶意图片；若包含文本信息，则提取所述待审核图片的文本信息，计算所述待审核图片的文本信息与预设恶意文字库中的恶意文本信息之间的第二相似度；若所述第二相似度高于或等于阈值，则将所述待审核图片归类为恶意图片；否则，将所述待审核图片归类为非恶意图片；判断截取的所有待审核图片是否均为非恶意图片，若是，将所述待审核视频归类为非恶意视频，否则，将所述待审核视频归类为恶意视频。

基于第一方面，在本发明一些实施例中，所述判断所述待审核图片中是否包含文本信息，包括：利用训练好的轻量化神经网络模型识别待审核视频中的文本信息。

基于第一方面，在本发明一些实施例中，所述文本信息包括：文本位置和文本内容。

基于第一方面，在本发明一些实施例中，所述提取所述待审核图片的文本信息，包括：针对所述文本位置，利用训练好的注意力网络模型提取文本位置；针对所述文本内容，利用训练好的长短时记忆网络模型的解码器提取文本内容。

基于第一方面，在本发明一些实施例中，所述预设恶意图片库中，依据恶意图片的类型将恶意图片划分为多个类簇；所述方法还包括：对归类为恶意图片的待审核图片进行分类，具体包括以下步骤：将待分类恶意图片分别与各类簇中的恶意图片进行匹配，以计算待分类恶意图片与各类簇的匹配度；将待分类恶意图片分类至与其具有最高匹配度Pm的类簇中；若存在待分类恶意图片与其他类簇的匹配度Px与最高匹配度Pm的差值小于阈值Y，即： P_x-P_m|Y，则由人工判断待分类恶意图片所归属的类簇。