[发明专利]一种基于文本和图像的多模态有害链接识别

说明书

本发明公开了一种基于文本和图像的多模态有害链接识别，S1、数据收集：利用网页图片截图技术对目标网站进行网页图片截取，对截取的图片按照类别进行人工标注，在人工标注和筛选的基础上尽可能保证涵盖各个行业，不同样式以保证模型的泛化性能，S2、预处理：主要采用图片增强对样本进行上采样，S3、特征提取：通过“有害链接图片文本特征提取”、“有害链接图片图像特征提取”和“有害链接统计分析特征提取”对特征进行提取，S4、特征融合，S5、模型训练：构建全连接分类器，采用深度学习技术，结合文本、图像、统计特征进行多模态融合构建模型，对有害链接进行分类检测。

技术领域

本发明涉及有害链接识别技术领域，具体为一种基于文本和图像的多模态有害链接识别。

背景技术

内容安全已成为全球性互联网生态治理难题。互联网平台多媒体内容爆发带来海量信息的同时，也泥沙俱下裹挟有大量不良有害信息。

当内容平台发展快速，就会被灰黑产盯上，视作“流量蜜罐”，利用其流量曝光机会，植入涉黄赌毒等不良信息，以及大量垃圾广告等。

其中页面内容中包含的有害链接是内容安全检测的一个重要方向，页面中的有害链接可能存在不同程度的安全隐患，例如对网站品牌名誉损害，对用户造成误导产生不良后果等，其中链接最多的是各类非法广告类，涉黄低俗类信息，以及涉赌涉毒信息。主要是由于页面中的网站链接主体由于域名过期被抢注或页面被非法篡改等造成。随着内容的多媒体融合，5G等信息基础设施的发展，互联网内容也迎来大爆发，内容安全压力愈加严峻。

常规的有害链接检测技术可以分为基于黑名单库的过滤检测，基于链接统计分析特征的分类检测，

现实场景下对链接进行解析，域名备案查询得到的信息存在不全面、有效性差、不权威的问题，此外链接、域名、IP的黑名单库建立成本十分高昂。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明采用深度学习技术，结合文本、图像、统计特征进行多模态融合构建模型，对有害链接进行分类检测，提供了一种基于文本和图像的多模态有害链接识别。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种基于文本和图像的多模态有害链接识别，具体包括以下步骤：

S1、数据收集：利用网页图片截图技术对目标网站进行网页图片截取，对截取的图片按照若干类别进行人工标注，其中网站图片样本每个类别500个，健康类别网站图片样本较多，在人工标注和筛选的基础上尽可能保证涵盖各个行业，不同样式以保证模型的泛化性能，对健康网站图片样本进行了下采样保证收集的若干类别样本相对均衡，样本图片大小为224*224*3；

S2、预处理：主要采用图片增强对样本进行上采样，利用Tensorflow图片预处理库完成，预处理后的结果将作为图片特征提取的输入；

S3、特征提取：通过“有害链接图片文本特征提取”、“有害链接图片图像特征提取”和“有害链接统计分析特征提取”对特征进行提取，有害链接图片文本特征提取利用基于中文的OCR模型对图片文字进行提取，有害链接图片图像特征提取涉及两个技术点“预训练微调”和“预训练模型提取图像特征”，特征提取手段主要利用python脚本进行字符串处理，再利用Bert模型提取文字特征、图像预训练模型微调提取网页截图特征、对链接进行统计分析提取特征；

S4、特征融合：在特征提取阶段中，将文本特征768维、图像特征512维、统计特征7维进行融合，共计1287维特征，由于文本、图像、统计特征均为1维的特征向量，特征融合只需对上述三个特征进行向量拼接；