[发明专利]一种基于上下文语义的恶意域名语料库生成方法

摘要

本发明设计一种基于上下文语义的恶意域名语料库生成方法，该方法分别从恶意域名所在语句的上下文单词、短语进行语义分析，并利用自然语言处理技术自动生成描述恶意域名的语料库。

主权项

1.本发明公开了一种基于上下文语义的恶意域名语料库生成方法，其特征包括以下步骤：（1）步骤一：基于上下文语义的恶意语料提取算法，对外部数据进行采集，由包含恶意域名分析内容的文档集，并针对不同类别的数据进行格式化处理，只提取包含域名的句子；（2）步骤二：提取句子中所有域名，利用在线域名检测平台对域名进行安全性标注，并选择所有恶意域名；（3）步骤三：从所有句子中选择含有恶意域名的句子，并把这些句子进行下一步处理；（4）步骤四：通过 2‑gram 生成算法对上一步得到的句子提取短语，从而生成恶意语料库中的 2‑gram 短语；（5）步骤五：继续对步骤三的句子进行分词，移除停用词和时态还原等操作，然后将处理后的单词组合成词包，从而得到了上下文单词集合；（6）步骤六：将步骤四得到的 2‑gram 和步骤5得到的上下文单词进行去重；（7）步骤七：基于单词频度的选择方法对英文停用词和标点符号进行筛选处理；（8）步骤八：基于特征词主成份分析方法对语料实施词形还原和词干提取，对词的不同形态归并化处理，即词形规范化，降低整个语料的维度；（9）步骤九：基于TF‑IDF 算法的语料权重计算方法计算每个语料在语料库中的权重，其值代表了描述域名安全性的重要程度。