[发明专利]基于数据湖的大数据采集治理快速检索系统

摘要

本发明提供了一种基于数据湖的大数据采集治理快速检索系统，包括数据采集前端模块、数据关联元数据提取模块、数据资源池模块、数据治理模块、数据服务模块和数据业务模块；数据关联元数据提取模块用于完成多源异构数据的元数据提取，并将提取的信息存储在数据服务模块的分布式全文检索数据库中；所述数据服务模块具备冷数据的自动清除功能。本发明提出的系统充分利用大数据技术、数据治理技术、不同类型数据库的特性实现的基于数据湖的数据采集治理快速检索系统，可以有效的避免数据资源碎片化、数据检索效率低的问题，还有避免数据存储资源庞大、存储资源浪费的问题。