[发明专利]一种基于大数据的数据采集与存储系统

摘要

本发明公开了一种基于大数据的数据采集与存储系统，包括数据采集单元、第一存储单元、第二存储单元、第一转换单元、第二转换单元和云存储单元，通过分布式文件系统对转换后的数据文件进行管理、存储和获取。本发明针对大数据文件和小数据文件，通过采用两个不同的存储单元进行数据存储和处理，有效解决了不同量级数据文件的处理问题，加快了文件的处理速度，提升了整体系统的效率；本发明通过设置云存储器和本地存储器，有效保障数据存储的完整性，避免数据遗失，也方便了使用者利用终端设备对数据进行访问，提升了便利性。