[发明专利]一种基于配置文件和日志文件的跨组件数据流向审计方法和系统

权利要求书

1.一种基于配置文件和日志文件的跨组件数据流向审计方法，其特征在于，包括以下步骤：

采集大数据平台中各个组件的配置文件和日志文件；

根据采集的配置文件和日志文件，识别分布式环境下部署在不同物理服务器上的大数据组件；

根据识别出的大数据组件并结合日志文件中的信息，构建跨组件的数据流向图；

根据数据流向图进行数据流向的异常判定及告警；

通过包含集群、服务、角色、实例四层结构的组件构建模型，实现任意大数据组件的全局统一描述，其中：

集群：对应不同的数据中心，任意一个独立的数据中心就是一个集群；

服务：对应不同的大数据组件；

角色：对应某个服务下的不同功能角色；

实例：是指某个具体的运行的进程，是配置文件的最小单元；

所述根据识别出的大数据组件并结合日志文件中的信息，构建跨组件的数据流向图，包括：

基于所述组件构建模型，从日志数据中提取两个关键实体：数据实体、程序实体；

基于程序实体、数据实体构建数据流向图，数据流向图中的任意两个实体都通过读、写关系关联。

2.根据权利要求1所述的方法，其特征在于，所述日志文件包括运行日志文件、审计日志文件。

3.根据权利要求1所述的方法，其特征在于，所述根据采集的配置文件和日志文件，识别分布式环境下部署在不同物理服务器上的大数据组件，包括：

1)采集某一组件的信息，依据组件构建模型所定义的要求，根据提前确定的数据字典，采集包括所属集群、服务、角色、实例等具体的基础信息；

2)将采集的基础信息作为初始判定列表，并在整个集群中探查所有节点；

3)对于待探查的节点，基于集群、服务名、角色名、实例IP，依次判定是否在初始判定列表中出现，如果没有出现，则将该待探查的节点的所属集群、服务名、角色名、实例IP插入初始判定列表，并基于“集群-服务-角色-添加时间-随机码”形成唯一的组件ID；

4)如果该待探查的节点的所属集群、服务名、角色名、实例IP已经在初始判定列表中出现，则交叉验证该待探查的节点的配置文件中的关键IP是否已经在初始判定列表中出现，如果未出现，则将该待探查的节点的配置文件中的关键IP插入初始判定列表；

5)如果该待探查的节点的配置文件中的关键IP已经在初始判定列表中出现，则进一步比对该待探查的节点的运行日志中的IP是否在初始判定列表中出现，如果有出现，则将该待探查的节点的运行日志中的IP更新到已有的对应ID下的组件，并更新属性；

6)如果该待探查的节点的运行日志中的IP没有在初始判定列表中出现，则放弃该待探查的节点的运行日志中的IP；

7)依次循环执行上述过程，直至完成数据字典中所有已知组件和集群下所有节点的判定，最终的判定列表即为本集群的所有组件。

4.根据权利要求1所述的方法，其特征在于，构建所述数据流向图时，首先构建原子数据流向信息，然后将多个原子数据流向信息进行去重、合并、统一后得到整个集群的完整数据流向信息。

5.根据权利要求1所述的方法，其特征在于，所述根据数据流向图进行数据流向的异常判定及告警，包括：

1)通过关联权限信息，支持查验是否有权限设置的遗漏环节，具体包括以下步骤：

a)构建集群的数据流向信息，存储在图数据库中；

b)将待核验的用户权限信息作为输入条件，在数据流向中进行检索，查看被授权数据的前后数据流；

c)确定前后流转关系中是否出现该用户无权访问的信息，如果有，则进行告警；

2)通过设定判定阈值，自动发现流量变化异常的数据流，含新增、中断流程，并支持展示相关组件和对应的部署信息，对变化异常的数据流进行告警推送；具体包括以下步骤：

a)构建集群的数据流向信息，存储在图数据库中；

b)基于时间条件，查看某个时间点之前存在数据流向，但是该时间点后消失的数据流向，并将检索结果推送告警；

c)基于时间条件，查看某个时间点之前不存在数据流向，但是该时间点后出现的数据流向，并将检索结果推送告警。