[发明专利]数据湖长链路处理方法、装置、设备及存储介质

摘要

本发明公开了一种数据湖长链路处理方法、装置、设备及存储介质，该方法包括：通过数据湖的现有表依赖关系对数据湖中的末端作业进行遍历，获得末端作业中对应的长链路及其链路长度；根据链路长度对长链路中的数据集合进行作业提取，获得长链路对应的出现频次和平均深度；基于出现频次和平均深度对长链路进行关键点定位，获得长链路中的关键上游节点；根据关键上游节点和数据集合对长链路进行可视化处理，获得链路可视图。由于本发明通过计算数据湖内长链路对应的出现频次和平均深度，来定位数据湖长链路的关键上游节点，为长链路各数据集群进行可视化展示，方便了数据库开发人员分析长链路中的数据流向，从而提高了长链路的分析效率。