[发明专利]一种基于大数据的数据采集平台的实现方法及系统

说明书

本发明公开了一种基于大数据的数据采集平台的实现方法及系统，包括协议代理、应用代理、实时消息交换中心和数据库。本发明通过数据采集平台的各种不同协议代理、应用代理模块，以及实时消息交换中心之间的松耦合和即插即用，实现了对安全设备、网络设备、数据库和中间件等的漏洞、配置、安全事件、网络故障等信息的实时采集、实时预处理和实时存储，提升了安全运维服务平台的实时性能和可扩展性。

技术领域

本发明涉及信息安全、大数据应用技术领域，尤其涉及到基于大数据的数据采集平台的实现方法。

背景技术

本发明中包含的英文简称如下：

SOC：Security Operation Center安全管理中心

IDS：Intrusion Detection Systems入侵检测系统

SNMP：Simple Network Management Protocol简单网络管理协议

CLF：Common Log Format 普通日志格式

JSON：JavaScript Object Notation JAVA脚本对象符号

HDFS：Hadoop Distribute File SystemHadoop分布式文件系统。

安全生产历来是保障各项工作有序开展的前提，也是考核各级领导干部的否决指标。网络及信息安全运维体系是各类企业安全生产工作的重要组成部分。保障网络及信息系统高效稳定地运行，是企业一切市场经营活动和正常运作的基础。

当前，企业IT系统都不同程度地部署了各种不同的业务系统和安全设备，有效地提高了劳动生产率，降低了运营成本，已经成为企业高效运营的重要支撑和生产环节中不可缺少的一环。一方面，因为一旦网络及各业务系统出现安全事件或故障，如果不能及时发现、及时处理、及时恢复，这势必直接影响承载在其上所有业务的运行，影响企业的正常运营秩序，涉及到用户的系统将直接导致用户投诉，满意度下降，企业形象受到损害，对于企业网络的安全保障就显得格外重要；另一方面，由于各种网络攻击技术也变得越来越先进，越来越普及化，企业的网络系统面临着随时被攻击的危险，经常遭受不同程度的入侵和破坏，严重干扰了企业网络的正常运行；日益严峻的安全威胁迫使企业不得不加强对网络及业务系统的安全防护，不断追求多层次、立体化的安全防御体系，建设安全运维服务中心，实时跟踪系统事件和实时检测各种安全攻击、及时采取相应的控制动作，消除或缩减攻击所造成的损失，尽一切可能来保护企业网络及业务系统正常运营。

然而，被用来执行安全运维服务任务的各种设备、数据库、中间件、操作系统和Web服务器等所产生的日志，随着企业IT系统规模的不断扩大，尤其是它的种类和数量正经历了巨大规模的上升，从而使日志存储、日志分析和问题跟踪变得越来越困难。企业IT系统的日志规模的这样海量地增长，迫使安全运维服务提供商采用Hadoop/Spark这样的大数据架构来对日志进行集中存储、对日志进行集中处理和日志分析，对系统事件进行实时跟踪，对安全攻击进行实时检测。

目前，已有的安全运维服务平台的数据采集的实现方法，存在可扩展性差和系统性能低的缺陷，已无法胜任当前企业的安全运维服务平台对系统实时性能和可扩展性的任务。因此，迫切需要一种全新的数据采集平台来对海量日志和漏洞信息等进行实时采集、分析和管理。

为此，如何利用信息化手段提高企业的运营效益，优化企业信息系统，使得它能够为各类企业提供专业的和高性价比的信息安全运维服务，即成为尤其是信息安全运维管理设计上必须要解决的一个重要课题。

发明内容

本发明提供了一种基于大数据的数据采集平台的实现方法及系统，以解决现有技术问题存在数据采集可扩展性差、性能差、成本高等缺陷。