[发明专利]一种增量和全量数据的数据采集方法、装置、设备及介质

摘要

本申请公开了一种增量和全量数据的数据采集方法、装置、设备及介质，可应用于大数据领域或金融领域。利用Sqoop工具实现关系型数据库的全量数据批量汇聚，利用Flume实现非关系型数据如日志数据的实时收集，集成全量数据采集和增量数据采集到一套实时数据采集系统中，在银行若干个不同类型的数据源(关系型数据库和业务系统服务器)和统一数据湖之间构建一个完备的数据采集通道，实现便捷、高效、稳定且低成本的数据传输，打破全量采集和增量采集之间的独立性，将传统的离线数据采集和实时数据采集进行合并，有效提高大数据平台的系统整体运行效率，降低人力资源成本，改善业务人员的使用体验。