[发明专利]一种分布式起源数据收集与存储系统

摘要

本发明公开了一种分布式起源数据收集与存储系统，包括：内核态的起源信息收集模块、用户态的起源记录生成模块以及存储层模块，其中，起源信息收集模块是一个轻量级堆栈式文件系统，能挂载于任意的POSIX标准文件系统之上，起源记录生成模块分析起源信息收集模块收集的起源日志，生成起源关系，存储层模块以分布式文件系统为存储后端，为其他两个模块提供存储服务并将起源记录持久化到键值型起源数据库中。此发明具有高灵活性、高可移植性特点，适用于任意支持POSIX标准的分布式文件系统，且具有在用户态收集起源信息所不可比拟的低性能开销。

主权项

1.一种分布式起源数据收集与存储系统，其特征在于，该系统包括：起源信息收集模块、起源记录生成模块以及存储层模块，其中，所述起源信息收集模块处于内核态，通过wrapfs堆栈式文件系统技术以及劫持系统调用，分别收集分布式文件系统客户端的文件操作记录与进程行为记录，缓冲在一个环形缓冲队列中，异步将缓冲队列的起源日志持久化到日志文件中；其不修改内核以及分布式文件系统的组件，从而获得高可移植性，同时保障分布式文件系统能够稳定运行；所述起源记录生成模块处于用户态，用于批量处理起源日志，生成文件、进程的起源关系记录，并调用所述存储层模块接口持久化起源关系记录到键值型起源数据库；所述存储层模块包括起源日志文件以及存储起源日志记录的键值型起源数据库，以分布式文件系统作为存储后端提供存储服务，并将起源记录持久化到键值型起源数据库中；所述起源信息收集模块包括IO拦截子模块、进程拦截子模块、起源信息收集器以及起源信息记录器；其中，所述IO拦截子模块基于wrapfs堆栈式文件系统，处于虚拟文件系统与具体文件系统之间，通过修改wrapfs文件系统的IO操作接口，完成对虚拟文件系统下发IO的拦截监控；所述进程拦截子模块是在Linux系统环境的客户端下，当文件系统挂载时，开启监控进程相关系统调用exit和exit_group，当文件系统卸载时，关闭监控进程相关系统调用；所述起源信息收集器用于收集分布式文件系统客户端的文件操作记录与进程行为记录；所述起源信息记录器用于将缓冲队列的起源日志持久化到日志文件中；所述起源信息收集器收集的进程起源记录包含以下信息：记录类型、用户UID、进程PID、父进程PID、进程启动时间stime、进程结束时间etime、父进程启动时间、程序路径长度、环境信息长度、程序路径和环境信息，其中，所述进程PID与所述进程启动时间stime作为标识一个进程的唯一标识。