[发明专利]数据生产过程的故障定位方法、装置

说明书

本公开涉及一种数据生产过程的故障定位方法、装置，涉及数据处理领域。该方法包括：根据各数据处理系统之间的数据关联情况，在各数据处理系统中确定应用需求的相关数据；根据各相关数据在各数据处理系统中的生产过程、各数据处理系统之间的数据交互过程，建立各相关数据之间的数据血缘关系；根据数据血缘关系，对各相关数据的生产过程进行监控，以定位生产过程中的故障。该方法和装置能够提高故障的分析和定位准确性。

技术领域

本公开涉及数据处理领域，特别涉及一种数据生产过程的故障定位方法、数据生产过程的故障定位装置和计算机可读存储介质。

背景技术

数据的应用加工过程包括多级源数据上送、数据汇聚、数据加工、数据共享和数据应用等多个环节。任何环节出现延时或故障，都会大大影响数据应用的效果。因此，对数据生产加工过程进行监控和故障定位就显得尤为重要。

相关技术都是在各环节对应的单系统内进行自监控。

发明内容

本公开的发明人发现上述相关技术中存在如下问题：未实现对数据产生全过程的整体监控，导致对故障的分析和定位不准确。针对上述问题，本公开提出了一种数据生产过程的故障定位技术方案，能够提高故障的分析和定位准确性。

根据本公开的一些实施例，提供了一种数据生产过程的故障定位方法，包括：根据各数据处理系统之间的数据关联情况，在所述各数据处理系统中确定应用需求的相关数据；根据各相关数据在所述各数据处理系统中的生产过程、所述各数据处理系统之间的数据交互过程，建立所述各相关数据之间的数据血缘关系；根据所述数据血缘关系，对所述各相关数据的生产过程进行监控，以定位所述生产过程中的故障。

可选地，所述数据处理系统包括数据应用系统、数据加工系统和数据采集系统；在所述数据应用系统中确定所述应用需求；根据所述各数据处理系统之间的数据关联情况，按照数据应用系统、数据加工系统和数据采集系统的顺序，依次在所述各数据处理系统中确定所述应用需求的相关数据。

可选地，所述数据血缘关系包括所述各相关数据之间的关联情况、与所述各相关数据有关的基础设施、所述数据交互过程中涉及的各数据接口。

可选地，对所述各数据接口的状态、数据采集进度和数据采集质量进行监控；对所述各相关数据的生产质量和共享质量进行监控。

根据本公开的另一些实施例，提供一种数据生产过程的故障定位装置，包括：相关数据确定模块，用于根据各数据处理系统之间的数据关联情况，在所述各数据处理系统中确定应用需求的相关数据；数据血缘关系建立模块，用于根据各相关数据在所述各数据处理系统中的生产过程、所述各数据处理系统之间的数据交互过程，建立所述各相关数据之间的数据血缘关系；生产过程监控模块，用于根据所述数据血缘关系，对所述各相关数据的生产过程进行监控，以定位所述生产过程中的故障。

可选地，所述数据处理系统包括数据应用系统、数据加工系统和数据采集系统；所述相关数据确定模块在所述数据应用系统中确定所述应用需求，根据所述各数据处理系统之间的数据关联情况，按照数据应用系统、数据加工系统和数据采集系统的顺序，依次在所述各数据处理系统中确定所述应用需求的相关数据。

可选地，所述数据血缘关系包括所述各相关数据之间的关联情况、与所述各相关数据有关的基础设施、所述数据交互过程中涉及的各数据接口。

可选地，所述生产过程监控模块对所述各数据接口的状态、数据采集进度和数据采集质量进行监控，对所述各相关数据的生产质量和共享质量进行监控。

根据本公开的又一些实施例，提供一种数据生产过程的故障定位装置，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行上述任一个实施例所述的数据生产过程的故障定位方法。