[发明专利]一种日志审计方法及装置

说明书

本发明公开了一种日志审计方法及装置，具体的，通过对从各大数据平台组件采集到的原始日志进行解析、字段标准化映射、以及日志的操作类型和操作细项划分处理，可以实现来源、格式不一的大数据平台中各组件的初始日志进行标准化；然后，根据大数据安全管控的审计要求，采用相应的审计规则和分析策略，对大数据平台中各组件的标准化后的日志进行自动化审计分析，来确定大数据平台及组件的管理和数据访问操作是否符合安全技术规范和管理要求。与人工审计方式相比，本发明提供的日志审计方法，通过对大数据平台组件日志的标准化处理与集中审计，可以对大数据平台组件的操作进行全面和及时的审计，快速发现安全隐患、定位安全问题。

技术领域

本发明涉及信息安全技术领域，尤其涉及一种日志审计方法及装置。

背景技术

随着社会信息化技术的不断提高以及互联网技术的快速普及，需要处理的数据也越来越多，而大数据平台在数据的大规模存放和高性能计算领域有无可比拟的优越性，能够提供高效的大数据存储、计算、运维和监控服务。然而，当前大数据平台的安全防护措施缺乏标准和要求，跟不上大数据平台自身业务需求的发展，存在与数据集中、数据共享的高价值业务不匹配的缺陷。因此，探索大数据平台自身及平台中数据安全风险及解决措施，深化大数据安全管控范围和应用领域，是目前研究的重点。

针对大数据平台核心组件，如HDFS(Hadoop Distributed File System，分布式文件系统)、Hive、HBase、YARNMR等，其大量的信息都会存储在操作日志文件的特点。具体的，其操作日志又可以分为两类，包括组件维护日志和数据访问日志，前者记录了平台管理操作如节点扩展移除、节点启停、组件服务启停等，后者记录了用户活动信息和用户操作指令信息。因此，大数据平台的操作日志可用于在安全事件中定位问题原因及划分事故责任。相应的，大数据平台的集中日志审计，研究大数据平台各组件操作日志的记录、存储、采集、标准化处理以及审计和告警，推进审计策略在大数据环境下落地是大数据平台安全管控的重要环节。

目前，对于大数据平台的操作日志审计，通常由企业的安全管理人员定期从服务组件的节点上查看原始日志信息，或者，通过某些大数据管理平台查看部分日志，以人工方式排查和审计，以确定平台及组件的管理及数据访问操作是否符合安全技术规范和管理要求。

然而，受制于大数据平台的规模大、组件及节点数众多的特点，依靠人工方式对大数据平台的操作日志进行审计，存在日志分散、体量大，人工方式费时费力，效率及准确率低的缺点。另外，人工方式对审计人员的专业程度要求很高，不但要懂安全业务，还需要了解大数据平台，包括平台的基础设施环境及平台各组件与服务的管理运行机制。

发明内容

本发明提供了一种日志审计方法及装置，以实现对大数据平台组件的操作进行全面和及时的审计，快速发现安全隐患、定位安全问题。

根据本发明实施例的第一方面，提供了一种日志审计方法，该方法包括：

对从大数据平台组件采集到的原始日志进行解析，得到所述原始日志中的有效日志字段及所述有效日志字段对应的属性值；

根据预设字段映射规则，对所述原始日志中的有效日志字段对应的属性值进行所属标准化字段归类，得到初始日志；

根据所述初始日志中的有效日志字段中的关键字，进行所述初始日志的操作类型和操作细项划分，得到标准化日志；

根据预设审计规则和分析策略，对所述大数据平台组件的标准化日志进行审计。

可选地，根据预设审计规则和分析策略，对所述大数据平台组件的标准化日志进行审计，包括：

根据所述大数据平台组件的标准化日志中的操作类型和操作细项，选定相应的日志内容审计点以及审计规则；

根据所述日志内容审计点以及审计规则，对所述标准化日志的日志内容进行审计。