[发明专利]一种网络环境下email大数据的预处理系统及方法

摘要

本发明公开了一种网络环境下email大数据的预处理系统及方法，系统包括：第一服务器集群、第二服务器集群、第三服务器集群、缓存数据库集群、消息队列集群、分布式文件存储集群和分布式存储集群。本发明所提供的系统及方法，通过消息队列传递数据，减少了因数据落地而带来的输入输出，同时降低了各系统之间的耦合；结构化数据和全文数据单独缓存，避免了不需要进行合并的全文数据在合并处理过程中的无用传递，降低结构化数据合并涉及的各个环节的压力；通过预处理降低了入库的压力和查询压力，同时保证了数据的一致性和完整性。