[发明专利]基于DataX的民航数据同步方法及装置

说明书

本发明实施例公开了一种基于DataX的民航数据同步方法及装置，方法包括基于用户信息配置用户权限；获取目标数据源类型，配置数据库参数以构建用户数据源列表，并形成用户数据源列表对应的数据源的连接界面；基于用户数据源列表选择数据源，并按照DataX的脚本规则构建所述数据源的同步任务脚本；配置统一的接口接收所述同步任务脚本，并保存至对应的执行任务列表。通过针对不同的用户采集用户信息，从而配置对应的用户权限，并形成数据源对应的数据源列表的连接界面，构建数据源的同步任务脚本，当用户登录时，可以调用用户权限范围内的数据源列表，基于该数据源列表选择数据源，加入数据同步的执行任务列表，进而可以进行数据同步任务。

技术领域

本发明涉及计算机数据处理技术领域，具体涉及一种基于DataX的民航数据同步方法及装置。

背景技术

目前，在数字信息时代，拥有庞大数据的民航业，就是一座巨大的金矿，而对这座金矿的挖掘，大数据技术是挖掘数据价值的重要手段，通过大数据技术，发掘数据价值，推动智慧民航的快速发展。数据的采集与治理是大数据工作的第一步也是重要的一步，随着5G时代的到来，在民航企业内部，各种系统都在产生越来越多的数据，且每个系统使用的数据库以及产生的数据形式各异，而当需要将这些不同系统的数据进行统一治理，打破系统间的数据孤岛时，将会是令人头疼的过程。

发明内容

针对所述缺陷，本发明实施例公开了一种基于DataX的民航数据同步方法、装置、设备及存储介质，其可以统一平台权限管理，在保证数据安全性的前提下兼容不同数据源，提高数据管理能力。

本发明实施例第一方面公开了基于DataX的民航数据同步方法，其特征在于，包括：

获取用户信息，基于用户信息配置用户权限；

获取目标数据源类型，配置数据库参数以构建用户数据源列表，并形成用户数据源列表对应的数据源的连接界面；

基于所述用户数据源列表选择数据源，并按照DataX的脚本规则构建所述数据源的同步任务脚本；

配置统一的接口接收所述同步任务脚本，并保存至对应的执行任务列表。

作为一种可选的实施方式，在本发明实施例第一方面中，所述获取用户信息，基于用户信息配置用户权限，包括：

获取任意一个用户所对应的身份信息、岗位信息；

基于所述身份信息和所述岗位信息配置该用户权限，所述用户权限包括用户同步数据权限，所述用户同步数据权限包括操作数据权限、维护下级用户的数据权限、关联下级用户的数据权限

作为一种可选的实施方式，在本发明实施例第一方面中，所述获取目标数据源类型，配置数据库参数以构建用户数据源列表，并形成用户数据源列表对应的数据源的连接界面，包括：

根据民航数据库类型获得民航数据源类型，结合所述民航数据源类型和DataX支持的数据源类型选取对应的目标数据源类型，配置所述目标数据源类型对应的数据库参数；

根据用户权限结合所述目标数据源类型构建用户数据源列表；

配置所述用户数据源列表中每个目标数据源类型分别所对应的目标数据源的连接界面。

作为一种可选的实施方式，在本发明实施例第一方面中，所述基于所述用户数据源列表选择数据源，并按照DataX的脚本规则构建所述数据源的同步任务脚本，包括：

根据所述用户数据源列表调用所述数据源以及数据源字段信息，配置所述数据源字段信息与所述数据源的映射关系；

根据所述映射关系并按照DataX的脚本规则构建所述数据源的同步任务脚本。

作为一种可选的实施方式，在本发明实施例第一方面中，所述配置统一的接口接收所述同步任务脚本，并保存至对应的执行任务列表，包括：