[发明专利]一种基于Proxy日志数据的网络安全威胁分析方法及系统

说明书

本发明公开了一种基于Proxy日志数据的网络安全威胁分析方法及系统，该方法包括以下步骤：对镜像网络流量数据进行采集，并对采集的Proxy请求数据进行归一化处理，以输入的Proxy数据作为输入文档，通过大量该输入文档对LDA分析模型进行训练，得到收敛的结果，并保存训练好的LDA分析模型，同时设定一个告警阈值；通过所述LDA分析模型对新采集到的Proxy请求数据进行分析得到一个分值；当判断分值低于告警阀值时，确定新采集的DNA数据为可疑Proxy请求数据，在前端页面进行展示，向用户告警。通过本发明的技术方案，提高数据分析的效率，便于用户定位问题所在。

技术领域

本发明涉及数据安全领域，具体涉及一种基于Proxy日志的网络安全威胁分析方法及系统。

背景技术

Proxy是一种特殊的网络服务，允许一个网络终端通过这个服务与另一个网络终端进行非直接的连接。Proxy日志对客户端的访问信息进行了详细记录，通过对该日志进行分析，以辨识异常访问。

机器学习LDA模型，利用监督和无监督机器学习技术，进行异常事件侦测，以辨识网路弱点。

随着信息技术的快速发展，互联网技术得到了长足发展，对人们的生产生活带来了深远影响。网络技术给人们的工作学习生活带来方便的同时，也面临着巨大的挑战，网络环境交叉渗透，各种形式的异常流量，恶意攻击充斥网络，降低了网络性能，影响网络服务的正常提供。

根据目前的网络安全态势，建立一个能快速、高效识别网络异常流量分析的检测模型迫在眉睫，从而保护网络环境，为人们放心安全使用网络应用打好基石。

现有技术中存在一种基于异常的网络入侵检测系统(A-NIDS)。如图1，A-NIDS框架主要包括三个阶段：

1.参数化阶段：系统将收集到信息按照预定的方式格式化或预处理。

2.训练阶段：根据正常的行为特征表现进行分类，然后建立相应的模型。

3.检测阶段：系统模型训练完成并可用，与得到的流量数据进行对比，如果发现偏差超过给定的阀值时，系统将发出警告，生成检测报告。

上述方案主要存在以下缺点：分析效率低，发出警告速度慢，用户不便于快速定位问题所在。

发明内容

本发明需要解决的问题包括：Proxy日志数据的采集和归一化处理；基于spark的机器学习lda分析模型的建立和应用；异常流量分析结果的攻击地图显示。

为解决上述技术问题，本发明提供了一种基于Proxy日志的网络安全威胁分析方法，其特征在于，该方法包括以下步骤：

1)对镜像网络流量数据进行采集，并对采集的Proxy请求数据进行归一化处理，以输入的Proxy数据作为输入文档，通过大量该输入文档对LDA分析模型进行训练，得到收敛的结果，并保存训练好的LDA分析模型，同时设定一个告警阈值；

2)通过所述LDA分析模型对新采集到的Proxy请求数据进行分析得到一个分值；

3)当判断分值低于告警阀值时，确定新采集的DNA数据为可疑Proxy请求数据，在前端页面进行展示，向用户告警，否则直接跳转到步骤4)；

4)结束。

根据本发明的方法，优选的，在所述步骤3)中当判断分值低于告警阀值时，确定新采集的DNA数据为可疑Proxy请求数据，在前端页面进行展示，向用户告警之后，还包括下列步骤：

针对确定的发现的可疑Proxy请求数据进行分析，找到该可疑Proxy请求数据对应的源IP地址和目的IP地址，并与对应的位置信息关联，展示在地图上。