[发明专利]一种增量和全量数据的数据采集方法、装置、设备及介质

说明书

本申请公开了一种增量和全量数据的数据采集方法、装置、设备及介质，可应用于大数据领域或金融领域。利用Sqoop工具实现关系型数据库的全量数据批量汇聚，利用Flume实现非关系型数据如日志数据的实时收集，集成全量数据采集和增量数据采集到一套实时数据采集系统中，在银行若干个不同类型的数据源(关系型数据库和业务系统服务器)和统一数据湖之间构建一个完备的数据采集通道，实现便捷、高效、稳定且低成本的数据传输，打破全量采集和增量采集之间的独立性，将传统的离线数据采集和实时数据采集进行合并，有效提高大数据平台的系统整体运行效率，降低人力资源成本，改善业务人员的使用体验。

技术领域

本申请涉及大数据领域，特别涉及一种增量和全量数据的数据采集方法、装置、设备及介质。

背景技术

大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，大数据技术起源于互联网，目前已被广泛地应用在各个领域，包括金融、电信、医疗等。银行拥有多年的数据积累，且银行的数据相对来说价值密度更高，目前银行已开始尝试利用大数据技术驱动业务运营，但是如何准确、快速且全面的从各个数据源获取关系型数据和非关系型数据，采集全量数据和增量数据，成为了银行业必须解决的关键问题。

银行的海量数据通常统一存储在Hadoop集群构建的数据湖中，目前具备一定的数据传输工具实现业务系统数据源和Hadoop之间的数据迁移，但是整体的数据传输效率有待提升，缺少一个高效、高性能、高扩展性且便捷、稳定的数据采集系统，以同时满足关系型数据和非关系型数据的实时采集。

目前，现有技术中的数据采集存在以下缺点，传统的数据迁移过程繁琐，整体性能不足；对于关系型数据库中的变化数据和非关系型数据库中的日志数据采集实时性不足，难以高效、快速且稳定的收集数据；批量数据的全量采集和增量数据实时采集完全独立，基础资源和人力资源消耗成本大。

发明内容

有鉴于此，本申请的目的在于提供一种增量和全量数据的数据采集方法、装置、设备及介质，有效提高大数据平台的系统整体运行效率，降低人力资源成本，改善业务人员的使用体验。其具体方案如下：

一方面，本申请提供了一种增量和全量数据的数据采集方法，包括：

在关系型数据库中存储有关系型数据时，利用Sqoop工具周期性采集预设时间段内的第一关系型数据，并同步到Hadoop集群构建的数据湖中；

在业务系统服务器中存储有非关系型数据时，利用Flume工具实时采集第一预设时刻下的所述非关系型数据，并同步到所述数据湖中；所述非关系型数据包括日志数据。

另一方面，本申请实施例还提供了增量和全量数据的数据采集装置，包括：

第一采集单元，用于在关系型数据库中存储有关系型数据时，利用Sqoop工具周期性采集预设时间段内的第一关系型数据，并同步到Hadoop集群构建的数据湖中；

第二采集单元，用于在业务系统服务器中存储有非关系型数据时，利用Flume工具实时采集第一预设时刻下的所述非关系型数据，并同步到所述数据湖中；所述非关系型数据包括日志数据。

另一方面，本申请实施例还提供了一种计算机设备，所述计算机设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行所述的增量和全量数据的数据采集方法。

另一方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行所述的增量和全量数据的数据采集方法。