[发明专利]一种基于铁路行车场景模板的行车日志压缩方法

说明书

本发明公开了一种基于铁路行车场景模板的行车日志压缩方法，包括：开启基于场景的日志处理逻辑后，确定当前行车场景的类别，根据当前行车场景的日志数据中记录的业务流程确定所包含的事件、对象及对象状态，再利用内部相互关联的事件、对象及对象状态作为一个节点的信息，按照设定格式处理为节点结构体信息；在当前行车场景结束后，构造当前行车日志的ID以及各节点的ID，按照设定的行车场景模板，综合日志ID、当前行车场景的类别以及所有节点结构体信息，获得当前行车日志；之后，根据预先的设置对当前行车日志进行压缩或非压缩后做持久化操作。该方法将日志数据统一归集和管理，并且可以提升数据存储效率，降低终端存储压力，降低网络传输压力。

技术领域

本发明涉及高速铁路调度系统技术领域，尤其涉及一种基于铁路行车场景模板的行车日志压缩方法。

背景技术

高速铁路行车调度系统是铁路运输日常组织工作的指挥中枢。作为重要辅助，日志模块在线或离线记录各业务子系统的硬件运行状态、外部运行环境、软件业务逻辑以及异常情况下的错误故障等信息，是时间轴线中有序追加的事实行为集合的记录者和提供者。可靠高效的行车日志记录，可以满足管理部门审计要求，追踪记录程序执行变化，广泛应用于现场问题定位、仿真回放测试、历史数据挖掘和运输模式优化等领域。但现有海量行车日志分散存储于各终端节点，存在以下问题：1)日志模块紧耦合核心业务，独立性差；2)日志记录格式随意，存储规则不统一，增大后期解析难度；3)日志数据直接以原始数据流形式存储于终端，冗余信息巨大，空间浪费严重；4)数据冗余同样对网络传输产生极大压力，不利于数据的实时监控和分析。部分系统以通用压缩方式存储或直接网络传输至日志服务器，但仍未从根本上解决以上缺陷。

作为细分领域的特有日志，铁路行车日志在具有传统日志通用特性的基础上，额外呈现着铁路行车的独有业务特点，包括：1)单车次行车日志严格顺序递增；2)多车次行车的多会话逻辑日志交错混合；3)单车次行车日志逻辑具有业务场景相关性。

随着高速铁路建设步伐的加快和信息系统的普及，行车日志呈现数据量爆炸式增长趋势，在现有终端计算能力和网络带宽限定下，结合铁路行车日志特点，通过日志记录模板提取和协议规划，设计一种高存储效率和传输效能的铁路调度系统日志方法，对于行车调度系统的稳定运行和智能改进有极大促进作用。

目前，主要采用如下几种方案处理日志数据。

方案一、日志数据以原始数据流形式存储于网络终端节点。

方案一中，日志数据按存储模式是否压缩，分为原始数据直接存储和压缩存储2种。各子系统内嵌日志模块，实现业务模块与日志模块的紧耦合。系统在行车调度操作的同时，直接输出业务状态信息到本地硬盘，现场多以文本方式进行日志数据的原始直接存储记录。

方案一的缺陷在于：铁路行车调度系统中，大量车站工控主机硬件性能较差，存储资源紧张。日志模块无法记录完整业务流程。原始信息的缺失增加了故障问题定位和历史数据使用的难度；日志中冗余信息的存在极大增加了节点存储压力和网络传输压力，难以对数据进行有效的实时监控和分析；由于日志模块的业务紧耦合特性，日志记录规则和格式依赖于子系统的具体实现，不利于数据的自动化提取和解析，日志数据中价值信息的挖掘困难

方案二、原始日志数据按类型和等级，以压缩形式存储于网络终端节点。

方案二中，按描述事件的归属，日志类型可分为系统日志、业务日志和故障日志等。按记录问题的严重程度，日志等级可分为非常严重、严重、一般、较为轻微和非常轻微等。将原始日志按类型和等级分类输出，并对数据流进行通用压缩和存储，可以在方案一的基础上，一定程度降低数据冗余，提高数据存储和传输效率，有利于数据分析和挖掘。方案二中的压缩操作，按压缩时效性分为离线压缩和在线压缩，其中在线压缩又细分为实时压缩和伪实时压缩。按压缩适配性，分为通用压缩和专用压缩。现场实现中，可根据需要灵活选用。