[发明专利]网站信息识别方法、装置和电子设备

权利要求书

1.一种网站信息识别方法，其特征在于，包括：

根据目标网站的地址获取所述目标网站的内容；所述内容包括：文本内容、图片文件和展示效果截图；

根据预设的敏感违规词库对所述文本内容进行精确匹配和/或自然语言分析处理，确定出所述目标网站的文本识别结果；

根据预设的带有不同类型标签的样本图片对所述图片文件和所述展示效果截图分别进行基于深度学习的图像分类识别，确定出所述目标网站的图片识别结果；

根据目标网站的地址获取所述目标网站的内容的步骤之后，所述方法还包括：

通过Kafka集群对所述内容进行数据清洗。

2.根据权利要求1所述的方法，其特征在于，根据目标网站的地址获取所述目标网站的内容的步骤，包括：

获取目标网站的地址；

根据所述地址通过普通请求的方式获取所述目标网站的文本内容；

根据所述地址通过无头浏览器获取所述目标网站的图片文件和展示效果截图。

3.根据权利要求1所述的方法，其特征在于，根据预设的敏感违规词库对所述文本内容进行精确匹配和/或自然语言分析处理，确定出所述目标网站的文本识别结果的步骤，包括：

对所述文本内容进行分词；

根据预设的系统配置文件判断是否采用文本精确匹配和/或NLP学习模型匹配分析所述文本内容；

如果采用所述文本精确匹配分析所述文本内容，则将分词后的所述文本内容与所述敏感违规词库进行匹配，确定出所述目标网站的文本识别结果；

如果采用所述NLP学习模型匹配分析所述文本内容，则将分词后的所述文本内容输入预先学习完成的NLP学习模型中，输出所述目标网站的文本识别结果；所述NLP学习模型是根据所述敏感违规词库进行学习得到的。

4.根据权利要求1所述的方法，其特征在于，根据预设的带有不同类型标签的样本图片对所述图片文件和所述展示效果截图分别进行基于深度学习的图像分类识别，确定出所述目标网站的图片识别结果的步骤，包括：

将所述图片文件和所述展示效果截图分别输入至预先学习完成的图像审核学习模型中，输出所述目标网站的图片识别结果；所述图像审核学习模型是根据所述样本图片进行学习得到的。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：保存所述图片文件和所述展示效果截图至预设存储区；和/或，保存所述文本识别结果和所述图片识别结果至所述预设存储区。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

发送所述文本识别结果和所述图片识别结果至指定的终端。

7.一种网站信息识别装置，其特征在于，包括：

内容获取模块，用于根据目标网站的地址获取所述目标网站的内容；所述内容包括：文本内容、图片文件和展示效果截图；

文本识别模块，用于根据预设的敏感违规词库对所述文本内容进行精确匹配和/或自然语言分析处理，确定出所述目标网站的文本识别结果；

图片识别模块，用于根据预设的带有不同类型标签的样本图片对所述图片文件和所述展示效果截图分别进行基于深度学习的图像分类识别，确定出所述目标网站的图片识别结果；

根据目标网站的地址获取所述目标网站的内容的步骤之后，方法还包括：

通过Kafka集群对所述内容进行数据清洗。

8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至6任一项所述的网站信息识别方法的步骤。

9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现权利要求1至6任一项所述的网站信息识别方法的步骤。