[发明专利]一种确定冗余离散原始警报的方法和系统

说明书

本文公开了一种用于通过在一系列时间窗口内的原始计算机安全警报中标识低熵数据块或重复的信息安全信息来对原始非结构化在线和传输中数据进行即时压缩和优化的方法和系统。具体而言，该方法和系统自动管理、处理和优化同时从多个信息监视源和/或外围监控设备接收到的在线和传输中数据块或原始信息安全警报。各时间窗口中的被发现是唯一的数据块或原始信息安全警报被转换成元定义表以供进一步处理，而每一个特定时间窗口中所包含的冗余数据块或原始警报被相应地标识、标记和处理。

技术领域

本发明涉及一种用于通过在一系列时间窗口内的原始计算机安全警报中标识低熵数据块或重复的信息安全信息来对原始非结构化在线和传输中数据进行即时压缩和优化的方法和系统。具体而言，该方法和系统自动管理、处理和优化同时从多个信息监视源和/或外围监控设备接收到的在线和传输中数据块或原始信息安全警报。各时间窗口中的被发现是唯一的数据块或原始信息安全警报被转换成元定义表以供根据本发明的实施例来进行进一步处理，而每一个特定时间窗口中所包含的冗余数据块或原始警报被相应地标识、标记和处理。

发明背景

安全事件管理器是计算机网络中用于集中对计算机生成的日志或由计算机网络的监视设备生成的记录的形式的原始计算机安全警报的收集，存储和处理的设备。这些监控设备不限于计算机安全外设，而是还包括监视装备，诸如有线和无线摄像机以及用于语音或类似感知设备的实时分析处理装备。这些事件管理器不仅处理极大量的数据，而且它们还处理通常包括各种格式和大小的数据的非结构化原始数据。

由于现有计算机网络利用大量监控设备，因此这些监控设备所生成的日志数量也快速增加。其原因是每一个监控设备将在每一次事件发生时生成日志或记录并将这些日志全都发送到事件管理器。除了上述之外，所生成的日志数量随着时间的推移伴随着网络运营商添加用于记录和标识潜在安全威胁的新的且更强大的监控工具而逐渐增加。无论所采用的工具类型如何，这些工具中的大多数产生以事件日志的形式存储的数据。这些事件日志可包括警报/干扰通知、由网络管理系统(NMS)或网络元件生成的性能日志、操作系统日志、网络活动以及任何其它这样的事件。这些事件日志被监视以使得诸如基于网络的攻击和/或基于主机的安全漏洞等可能不合乎需要的计算活动可被快速检测到并被处置。

目前，在事件管理器处收集所收集到的日志数据和/或这种性质的记录(称为信息安全事件)。收集到的数据然后在被传送到指挥中心以供计算机安全分析员进行分析之前被进一步处理(相关、加密等)。然而，由于每天生成大量日志文件，因此在事件管理器处出现瓶颈，由此将要传送的数据排队以FIFO(先入先出)方式传送。

为了正确监视和防止计算机网络的问题和安全漏洞，计算机安全分析员应当能够即时且定期从事件管理器接收这些日志，以便可以快速分析这些日志以标识任何异常日志条目或故障的早期迹象。然而，实际上，这是艰难的任务。将要传送的日志通常是庞大的-最糟糕的是每天包含数百万行，并且填充了不同格式的条目，这使得难以容易地解决数据瓶颈。

为了解决这个瓶颈问题，已经提出根据所使用的监控设备的数量来缩放在每个计算机网络中使用的事件管理器的数量。例如，提出每一个事件管理器应只担当最多10 个监控设备的集中式数据收集中心。这意味着随着监控设备数量的增加，计算机网络中所采用的事件管理器的数量也应相应地增加。这种方法是不利的，因为需要添加可能不与现存网络设备后向兼容的附加事件管理器。这些兼容性问题进而可能导致传送或收集被破坏的事件日志。

一般而言，从各种监控设备获取的所有事件日志仍然必须排队以待处理并从事件管理器传送到指挥中心。即使已记录潜在威胁或攻击，但直到由安全分析员在指挥中心处接收到并处理事件日志时，分析员才会意识到潜在威胁。

出于上述原因，本领域技术人员一直在努力想出一种系统和方法，该系统和方法能够执行对传输中的大量原始非结构化数据的比特率级优化和压缩以确定哪些数据日志或原始警报是冗余的。然后忽略被标识为冗余的数据日志或原始警报，并且然后处理和传送有用的数据日志或原始警报以供进一步分析。

发明内容