[发明专利]一种基于深度学习的多语言有害信息特征智能挖掘方法

说明书

本发明公开了一种基于深度学习的多语言有害信息特征智能挖掘方法，标注各语种各类别有害和无害信息文本；将每个语种的每个类别的词使用RNSW方法选出候选词并建立独热码编码；将样品数据输入CNN神经网络模型中进行训练，得到每个词属于该语种该有害类别的得分，作为权重；使用遗传算法对机器学习选出的有害信息特征进行筛选，形成最终的有害信息特征和权重。本发明一是提出了一种语种无关的文本降维表示的RNSW方法，有效降低了模型训练的参数数量，加快了训练速度，提高了模型识别的准确率；二是采用深度学习的方法实现了有害信息特征的智能挖掘，并通过遗传算法对有害信息特征筛选，使得有害信息识别的可解释性更好。

技术领域：

本发明涉及互联网领域的文本分析技术，特别涉及有害文本识别方法，是一种基于深度学习的多语言有害信息特征智能挖掘方法。

背景技术：

对于有害信息的识别常用的有两种方法，一种是基于关键词和规则匹配的方法，一种是基于机器学习的方法。基于关键词和规则匹配的方法，需要人工编辑有害词词库，有时规则足够复杂才能达到比较好的效果，而网络上的有害词新词层出不穷，更新迭代周期短，维护词库与设计新规则耗费大量成本。基于机器学习的方法，是近些年来逐渐采用的方法，该方法的好处是不需要技术人员对有害信息有深入的领域知识和人工建立大量有害词库，而是通过优化机器学习算法自动提取网络文本中的有害词，提高有害信息识别的准确率。

张家亮等在专利“一种基于机器学习的网页有害信息识别方法”(专利申请号：201811302974.X)提出了一种基于机器学习的网页有害信息识别方法，通过机器学习、训练模型、文本分类技术，对抓取的网页进行分类识别，根据网页识别结果的所属类别，达到甄别网页是否存在有害信息、进一步判断网站是否存在有害信息的目的。该方法基于采集的语料库数据进行训练，训练的模型只能用于相应语种的文本数据的识别，而且该方法不能提取出有害信息的特征，对分类结果的可解释性比较差。

胡卫明等在专利“一种基于多示例学习的有害信息识别和网页分类方法”(专利申请号： CN201410609728)提出了一种基于多示例学习的网页分类方法，通过将网页中内含的图像及其相关文本作为网页包中的示例，使算法更符合网页内容的实际分布，并能够利用网页的有效信息，深入挖掘图像信息与文本信息的互补性，最终取得比只利用单模态信息进行分类更好的效果。该方法需要网页中的图像作为辅助信息进行识别，但大部分网络文本没有图片，有些图片可能与文本无关，所以该方法不便于在大规模文本数据上使用。

针对上述问题，本专利提出了一种基于深度学习的多语言有害信息特征智能挖掘方法，该方法通过将标注的训练数据集的样本进行词例化，通过语种无关的文本特征降维的RNSW(Remove Negative Sample Words)方法建立该类别样本的候选词表，对每个词建立唯一的独热码(One-Hot Encoding)编码与之对应，形成词与编码的数据对。使用该数据对将训练数据集映射至向量空间，然后使用CNN模型进行训练，使用训练出的最优模型输入候选词得到各词的权重，根据各词的权重确定有害信息特征的初始范围，使用遗传算法选出最终数量的有害信息特征词。该方法可以用于各语种的各类别有害文本信息特征的挖掘。另外，由于使用了文本特征降维的RNSW方法，并且将候选词限定在该语种该类别的训练样本集中，大大降低了词向量的数量，训练模型的参数数量大大减少，训练速度快；通过遗传算法自适应性，自动筛选出最优数量的表示有害信息的特征词，特征选择准确率高，适用于大规模文本数据的处理。

发明内容：

本发明的目的在于提供一种基于深度学习的多语言有害信息特征智能挖掘方法，通过该不依赖于具体语种的挖掘有害信息特征的通用方法，可将挖掘的不同语种有害信息特征用于对有害文本数据进行识别。

本发明解决其技术问题所采用的技术方案如下：

一种基于深度学习的多语言有害信息特征智能挖掘方法，如附图1所示，包括以下步骤：