[发明专利]一种数据归一化方法

说明书

技术领域

本发明涉及安全信息管理，特别涉及一种数据归一化方法。

背景技术

为了应对企业内、外部的安全挑战，企业先后部署了大量的安全系统，但却往往形成各个防御孤岛—系统间缺乏协同，由此，各种安全系统产生了大量告警，出现信息过载，造成很多误报和漏报。此外，企业还面临着不断增长的内控和信息系统审计的压力，要求增强业务持续性的呼声不断提高。所有这些都在呼唤面向全网的安全信息集中管理平台的出现，这就是安全信息管理(Security Information Manager，SIM)。

安全信息管理也叫安全信息和事件管理(Security Information and EventManager，SIEM)，这是一个面向企业IT计算环境的安全集中管理平台，该平台能够收集来自企业计算环境中的各种设备、应用的安全日志和事件，并进行集中存储、监控、分析、报警、响应和报告，变过去被动的单点防御为全网的综合防御。目前，SIM正被广泛应用于企业内部的威胁管理、合规审计、日志管理、安全审计及应急响应等方面。

目前普遍采用基于插件开发的形式进行数据归一化。插件是计算机软件中的一种特殊程序，其实现独立的功能逻辑，通过统一的程序接口与主程序交互，从而扩充主程序的功能，其不能单独执行，必须依赖于主程序环境方可运行。通过自定义的接口，插件能够自由访问主程序中的各种资源，编程自由度极大，可以无限发挥插件开发者的创意，但编写相对复杂，对于插件接口之间的协调比较困难，插件的开发需要专业的程序员才能进行。插件开发一般需要通过专业的开发工具(如VB，VC等)。插件的存在形式为经过代码编译产生的二进制文件。每当有一种新的数据需要归一化时，总是新开发一个插件对这种数据进行特定的处理。

但是，基于插件开发的数据归一化方案，开发周期长，调试困难，维护成本高，难于适应环境变化，难于随环境需要提供方便快捷的解决方案，客户化程度低。

发明内容

本发明的目的在于，提供一种数据归一化方法，解决数据归一化开发调试困难，成本高，客户化程度低，不容易适应环境变化等需求问题。

本发明的数据归一化方法，包括下列步骤：通过将数据进行数据格式化脚本文件进行数据格式化，并通过数据映射脚本文件进行数据映射，将数据进行归一化。

其中，所述数据格式化脚本文件，用于按照需要对数据进行灵活的拆分、组装，最终将数据格式化为统一格式。

其中，所述数据格式化包括如下步骤：

步骤a1：对特定含义的信息元的数据进行处理，获得统一的数据表现形式；

步骤a2：数据填充，将经过步骤a1处理后的数据填充到相应语义的归一化数据字段中。

在所述步骤a1之前，进一步包括如下步骤：对数据进行预处理，将原始数据解析为独立的有特定含义的信息元。

其中，在所述步骤a1中，对信息元的数据进行处理，将相同类型的数据处理为统一的格式。

在所述步骤a2中，将所述数据填充到相应语义的归一化数据字段中，包括对数据的匹配、解析、分拆、组合、编排格式的数据处理方法。

所述数据映射脚本文件，用于将格式化后的数据在语义表述上进行同一的映射转换。

本发明的有益效果是：依照本发明的数据归一化方法，通过数据格式化脚本文件，用于按照需要对数据进行灵活的拆分、组装，最终将数据格式化为统一的样子；通过数据映射脚本文件，用于将格式化后的数据在语义表述上进行同一的映射转换。由于整个过程都通过脚本的形式进行描述，以大大降低开发、调试及维护的难度，并提供了极其灵活的环境适应及客户化能力。

附图说明

图1为基于文件配置的数据归一化系统。

具体实施方式

以下，参考附图1详细描述本发明的数据归一化方法。

本发明的核心思想是：通过编写脚本(Script)来描述数据归一化的过程，并将过程定义为数据格式化和数据映射两个部分。这两部分的过程分别由数据格式化脚本文件和数据映射脚本文件来描述，两者皆为文本文件。

实际上，脚本就是程序，一般都是有应用程序提供的编程语言。应用程序包括浏览器(JavaScript、VBScript)、多媒体创作工具，应用程序的宏和创作系统的批处理语言也可以归入脚本之类。脚本同平时使用的VB、C语言的区别主要是：脚本语法比较简单，比较容易掌握；脚本与应用程序密切相关，所以包括相对应用程序自身的功能；脚本一般不具备通用性，所能处理的问题范围有限。