[发明专利]非结构化数据存储方法

说明书

本发明涉及电子数字数据处理领域，具体涉及一种非结构化数据存储方法，包括：获取非结构化数据；对非结构化数据进行识别并生成主标签；基于主标签对非结构化数据进行分块存储；基于挖掘特征生成副标签；在每块存储区基于副标签进行检索并生成映射；将映射关系存储到第二存储区。从而可以通过主标签中的类别对非结构化数据进行分块存储，然后可以基于副标签和所有存储区中的数据建立映射，从而可以提高对存储数据的检索速度和读写速度，为对非结构化数据的使用提高保障，使得反应速度更快。

技术领域

本发明涉及电子数字数据处理领域，尤其涉及一种非结构化数据存储方法。

背景技术

计算机应用的不断发展导致了数据量的急剧增加，由于数据结构化过程受限于人工处理速度，导致了非结构化数据的增长速度远远大于结构化数据。对于目前不断增加以致达到TB、PB级的大规模数据，需要更好的工具或技术来对文件进行组织和管理，高效的数据组织方法能够帮助人们在需要时迅速地从后台大规模数据中获取自己想要的数据。

现有的非结构化数据一般是按顺序存储在存储器中，这样数据之间没有关系，使得检索时间长，难以进行使用。

发明内容

本发明的目的在于提供一种非结构化数据存储方法，旨在提高对存储数据的检索速度和读写速度，为对非结构化数据的使用提高保障，使得反应速度更快。

为实现上述目的，本发明提供了一种非结构化数据存储方法，包括：获取非结构化数据；

对非结构化数据进行识别并生成主标签；

基于主标签对非结构化数据进行分块存储；

基于挖掘特征生成副标签；

在每块存储区基于副标签进行检索并生成映射；

将映射关系存储到第二存储区。

其中，所述获取非结构化数据的具体方式是从网站、电脑程序和手机APP 等数据渠道获取非结构化数据。

其中，所述主标签可以是文件类型或者数据来源渠道。

其中，所述基于主标签对非结构化数据进行分块存储的具体步骤是：

基于主标签生成分块存储区；

基于主标签对非结构化数据进行识别；

将非结构化数据存入对应的分块存储区；

当分块存储区容量用完时，加入新存储区并建立映射。

其中，所述基于主标签生成分块存储区的具体步骤是：

获取总存储区的地址；

获取主标签的数量；

基于主标签的数量对总存储区的地址进行划分，生成对应主标签数量的分块存储区。

其中，所述分块存储区包括缓存区和存储区，所述缓存区用于存储高频访问数据，所述存储区用于存储低频访问数据。

其中，所述将非结构化数据存入对应的分块存储区的具体步骤是：

设置标准容量值；

将当前文件单元容量值和标准容量值比较，若标准容量值大，则将当前文件单元和下一相邻文件单元合并存储，并再与标准容量值比较，直至大于标准容量值，则生成存储单元；

生成存储单元的索引。

其中，所述当分块存储区容量用完时，加入新存储区并建立映射的具体步骤是：

对分块存储区的容量进行检测；

当容量低于阈值时搜索新存储区；