[发明专利]一种流量数据的留存方法、设备和计算机可读存储介质

说明书

本发明提出了一种流量数据的留存方法、设备和计算机可读存储介质，该方法包括：通过分别设置在各个采集点的采集模块获取流量数据；将各个采集模块获取到的流量数据发送至存储模块；通过所述存储模块对流量数据进行存储。本发明将流量数据抓取和流量数据存储分离，解决了网络留存中的抓包问题和存储性能低下的问题。

技术领域

本发明涉及网络安全技术领域，尤其涉及一种流量数据的留存方法、设备和计算机可读存储介质。

背景技术

网络安全领域分为事前预防、事中控制、事后追踪等几大块，其中事后追踪需要一种设备能够将真实网络的流量数据存储下来，以便当出现安全事故时可以进行原始流量数据的提取，从而进一步进行分析处理。如图1所示，在现有技术中通常采用单台独立设备的存储方案，即将流量数据的采集和存储集成在一台设备内。采用单台独立设备的存储方案的逻辑简单且易于实现，但是由于流量数据抓取和流量数据存储是在同一台设备上进行的，会受限于单台独立设备性能的影响，从而不能进行大流量的扩容。另外，目前采用的单台独立设备的存储方案不支持第三方查询检索接口。因此，目前采用的单台独立设备的存储方案无法适应复杂的网络环境。

发明内容

本发明要解决的技术问题是，提供一种流量数据的留存方法、设备和计算机可读存储介质，将流量数据抓取和流量数据存储分离，解决了网络留存中的抓包问题和存储性能低下的问题。

为实现上述目的，本发明提供了一种流量数据的留存方法，所述方法包括：

通过分别设置在各个采集点的采集模块获取流量数据；

将各个采集模块获取到的流量数据发送至存储模块；

通过所述存储模块对流量数据进行存储。

可选的，在所述通过分别设置在各个采集点的采集模块获取流量数据之后，并在所述将各个采集模块获取到的流量数据发送至存储模块之前，所述方法还包括：

通过采集模块为获取到的流量数据添加采集时间信息，并按照预设的缓冲规则，将获取到的流量数据存储到设置在对应采集点上的对应的缓冲区中。

可选的，所述将各个采集模块获取到的流量数据发送至存储模块，包括：

通过分别设置在各个采集点的转存模块，轮询对应采集点上的各个缓冲区，将被写满的缓冲区中的全部流量数据按照预设的配置规则发送至设置在对应采集点上的对应的客户端，以供所述客户端将所述全部流量数据压缩为数据包；

通过分别设置在各个采集点的转存模块，轮询对应采集点上的各个客户端，当客户端上存储的数据包的数量达到预设阈值时，将所述客户端上的全部数据包发送至所述存储模块。

可选的，所述通过所述存储模块对流量数据进行存储，包括：

通过所述存储模块对接收到的数据包进行解压操作，以获取数据包中的流量数据、采集时间信息和IP地址信息，根据所述采集时间信息进行存储，并建立所述流量数据、采集时间信息和IP地址信息之间的对应关系。

可选的，在所述通过所述存储模块对流量数据进行存储之后，所述方法还包括：

向所述存储模块发送历史流量查询指令，以供所述存储模块根据所述历史流量查询指令查找到对应的流量数据，并将查找到的流量数据导出；其中，所述历史流量查询指令包括待查询流量数据的采集时间信息和IP地址信息。

本发明还提供一种流量数据的留存设备，包括：处理器、存储器及通信总线；

所述通信总线用于实现所述处理器和所述存储器之间的连接通信；

所述处理器用于执行所述存储器中存储的流量数据的留存程序，以实现以下步骤：

通过分别设置在各个采集点的采集模块获取流量数据；