[发明专利]一种队列式数据存储分析方法及系统

说明书

本发明提供了一种队列式数据存储分析方法及装置，所述方法包括：获取多个落地平台数据；通过传输控制协议将多个落地平台数据传输至MQ服务器中；通过数据收集中心获取MQ服务器中的数据，并将其数据传输至中央数据库；中央数据库将数据进行数据备份，并将数据传输至数据处理中心；数据处理中心通过大数据分析引擎对数据进行分析，并将分析后的数据传至业务处理中心；通过业务处理中心根据分析后的数据进行业务处理,从而通过队列机制数据存储模式，效缓解服务器连接、处理压力，有效分析出资源配置是否合理、节约成本、及时发现运营潜在风险、提升用户体验，避免少量数据分析，不能反映整个平台实际情况。

技术领域

本发明涉及数据存储领域，特别涉及到一种队列式数据存储分析方法及系统。

背景技术

目前，数据存储技术得到越来越广泛的关注，普遍的做法通常是在单片机上移植文件系统，通过文件系统来管理需要存储的数据。文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构，常见的存储设备有磁盘，以及基于NandF l ash的固态硬盘等。文件系统由三部分组成：文件系统的接口，对对象操纵和管理的软件集合，对象及属性。从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。具体地说，它负责为用户建立文件，存入、读出、修改、转储文件，控制文件的存取，当用户不再使用时撤销文件等。

采用文件系统来存储数据并对数据进行管理，通用性较强，可以存储管理的数据类型广泛，但是对单片机的资源要求较高，包括对单片机内CPU和存储内存的要求都相对较高。而且文件系统的复杂度较高，不易查找到数据的对应存储位置，可靠性较差，当用户对文件系统内添加新的存储数据添加或对已存储的数据进行修改时，文件系统中对数据的索引(即文件系统内的关键数据)会自动进行修改，此时突然断电极有可能会导致文件系统关键数据的损坏，使整个文件系统发生瘫痪，从而可能导致在文件系统中无法获取到存储的数据。

发明内容

由于我司400业务通话清单数据分散于全国各地不同的运营商落地平台，单一平台的业务通话数据不能实际反映我司业务情况，为了解决此类问题，本发明提供了一种队列式数据存储分析方法及系统，所述方法包括：

获取多个落地平台数据；

通过传输控制协议将多个落地平台数据传输至MQ服务器中；

通过数据收集中心获取MQ服务器中的数据，并将其数据传输至中央数据库；

中央数据库将数据进行数据备份，并将数据传输至数据处理中心；

数据处理中心通过大数据分析引擎对数据进行分析，并将分析后的数据传至业务处理中心；

通过业务处理中心根据分析后的数据进行业务处理。

进一步地，所述通过传输控制协议将多个落地平台数据传输至MQ服务器中，包括：

针对所述获取的多个落地平台数据，生成工作密钥；

使用所述工作密钥对所述获取的多个落地平台数据进行压缩加密，获得多个加密数据，其中每个加密数据对应一个落地平台数据，并对多个加密数据进行随机排序，并通过传输控制协议将按顺序将多个加密数据传输至MQ服务器中；

通过传输控制协议将所述工作密钥传输至MQ服务器中，所述MQ服务器利用工作密钥对所述多个加密数据实行解密操作，获取多个解密数据，并根据对应的加密数据的传输至MQ服务器的顺序，将多个解密数据按照顺序传输至数据处理中心。

进一步地，所述针对所述待传输文件数据，生成工作密钥，包括：

利用Random函数随机生成包含字母和数据的随机字符串；

将所述随机生成的字符串作为工作密钥。

进一步地，所述通过数据收集中心获取MQ服务器中的数据，包括：