[发明专利]一种语音数据文字文本形式的大数据分布式存储方法

说明书

一种语音数据文字文本形式的大数据分布式存储方法,包括如下特征：对被存储的数据采用语言文本ID与文本正文内容构成两项键值对的组合形式，存储数据库采用LINUX架构下的REDIS数据库；对于大批量文件使用epoll数据结构并采用非阻塞IO机制；存储服务器采用分布式主从结构，数据存储及备份均在从服务器节点，主服务器用于对服务器进行调度操作。采用本发明所述语音数据文字文本形式的大数据分布式存储方法，结合语音大数据训练特点，采用在LINUX架构下EPOLL数据结构，降低数据处理事务的复杂度，提高了数据读写调用速度及数据访问的稳定性。

技术领域

本发明属于软件技术领域，涉及数据存储方法，具体涉及一种语音数据文字文本形式的大数据分布式存储方法。

背景技术

随着大数据技术的应用日趋完善，以人工智能为核心的技术发展对于数据的使用存储提出了极高要求，对于分布式的数据存储和使用、快速调度访问，以及对于高并发的读写请求等都是作为大数据处理领域的技术研究热点，行业内给予大量的投入；同时，对于分布式数据的存储安全性也是值得重点考虑的一项关键指标。

语音数据的识别训练过程是一个大数据处理过程，海量的训练文本输入到人工智能神经网络进行反复训练演算才能得到较为逼真的语音模型，在训练过程中对于海量语音训练文本的存储和读写速度都提出了较高要求。

发明内容

为更好的进行语音数据的存储调用并提高读写速度，本发明公开了一种语音数据文字文本形式的大数据分布式存储方法。

本发明所述语音数据文字文本形式的大数据分布式存储方法 ,包括如下特征：

对被存储的数据采用语音文本ID与文本正文内容构成两项键值对的组合形式；

存储数据库采用LINUX架构下的REDIS数据库；

对于大批量文件使用epoll数据结构并采用非阻塞IO机制；

存储服务器采用分布式主从结构，数据存储及备份均在从服务器节点，主服务器用于对服务器进行调度操作。

优选的，对于数据的组织采用打散设计和哈希设计混用，其中打散设计用于数据更新时的修改和维护，哈希设计用于后期的数据保存归档。

进一步的，当数据库存储上限不能满足数据流量时，对过量数据在原始哈希表格中做向后延伸存储。

优选的，在分布式存储数据的内存回收过程中，如果内存中的数据呈现幂律分布，使用allkeys-lru方式进行内存管理；如果数据呈现平等分布，使用allkeys-random方式进行内存管理。

优选的，数据存储介质使用串行单向链表结构。

采用本发明所述语音数据文字文本形式的大数据分布式存储方法，结合语音大数据训练特点，采用在LINUX架构下EPOLL数据结构，降低数据处理事务的复杂度，提高了数据读写调用速度及数据访问的稳定性。

附图说明

图1为本发明的应用进程中终端服务器流程的一种具体实施方式示意图;

图2为本发明服务器架构的一种具体实施方式示意图;

图3为本发明从服务器群组到终端服务器的综合流程的一种具体实施方式示意图。

具体实施方式

下面对本发明的具体实施方式作进一步的详细说明。

本发明所述新型文字文本形式的大数据分布式存储方法,包括如下特征：

对被存储的数据采用语言文本ID与文本正文内容构成两项键值对的组合形式；