[发明专利]一种基于语义标注的异构数据分布式存储方法

说明书

技术领域

本发明涉及一种基于语义标注技术和分布式存储技术，特别是涉及一种基于语义标注的异构数据分布式存储方法。

背景技术

随着互联网的高速发展，数据量每天以指数的递增，数据的来源也更加丰富和复杂，文本数据、音频数据、视频数据等数据格式也越来越多，实现异构的数据融合和存储的问题日益突出，但传统的数据融合，只是将异构数据进行统一存储并不具有语义。研究一种基于语义标注的异构数据分布式存储方法，这将实现异构数据的高度语义融合，对异构数据资源的高效检索起到关键性的作用。

目前语义标注的方法有很多，主要是根据资源属性、资源内容、资源内容特征和特定的资源领域本体语义进行标注。

基于语义标注的异构数据主要是通过自定义的方式进行异构数据源的标注说明，语义标注信息逻辑上采用大表的方式进行存储，但物理上是分布式存储，如何将异构数据与分布式存储结合起来是现阶段亟需解决的问题。

发明内容

为了解决上述技术问题，本发明提出了一种基于语义标注的异构数据分布式存储方法。

为了达到上述目的，本发明的技术方案如下：

一种基于语义标注的异构数据分布式存储方法，包括以下步骤：

1)建立异构数据源语义标签库和异构数据信息语义标签库；

2)建立异构数据存储单元内容；

3)将异构数据源语义标签库和异构数据信息语义标签库动态存储在.META.表信息中，将数据源语义和数据信息语义进行关系映射存储；

4)动态存储数据单位内容于存储块中；

5)对标注好的异构数据的语义信息进行语义相似度计算；

6)进行异构数据融合信息存储，将计算出的相似度值存储在.INFO.信息表中，将相似度值和异构数据的数据信息进行关系映射存储；

7)建立基于语义库的分布式数据信息检索信息；

8)将存储数据检索信息存储在.INDEX.表中。

本发明实现了数据融合存储，特别是异构数据的融合存储，存在存储数据互相独立和异构数据，不具有语义关联性，基于语义标注的异构数据分布式存储系统，即解决了数据难融合不具语义的问题，又解决了异构大数据分布式存储问题。本发明提出了一种对数据源进行语义标注的方法和数据源语义相似度计算的技术，弥补了市场上此项功能的空白，采用分布式存储语义标签库和异构数据单元内容，实现了异构数据的分布式存储。

在上述技术方案的基础上，还可做如下改进：

作为优选的方案，步骤1)具体包括以下步骤：

1.1)语义标签库创建；

1.2)异构数据源输入；

1.3)数据源语义解析和/或标注数据源名称和/或标注数据源类别和/或标注数据源格式和/或标注数据源时间；

1.4)数据信息语义解析和/或标注数据名称和/或标注数据归属信息和/或标注数据描述和/或标注数据时间。

采用上述优选的方案，操作便捷。

作为优选的方案，步骤4)还包括以下内容：

当异构数据源容量超过存储块的大小时，则系统自动将数据源信息切分为若干小块，每块的容量不大于存储块的大小。

采用上述优选的方案，便于动态存储。

作为优选的方案，存储块的大小为64M。

采用上述优选的方案，存储效果好。

作为优选的方案，步骤5)具体包括以下步骤：

5.1)读取两个存储单元；

5.2)对存储的异构数据的语义信息按字进行划分；

5.3)计算字频；

5.4)得到字频序列；

5.5)计算两个字频序列的COS夹角值。

采用上述优选的方案，操作便捷。

作为优选的方案，步骤5)具体包括以下步骤：

5.6)判断得到的夹角值是否大于a，若大于，则相似；否则，则不相似。

采用上述优选的方案，判断便捷。

作为优选的方案，异构数据源语义标签包括：数据源名称和/或数据源类别和/或数据源描述和/或数据源格式和/或数据源创建时间。

采用上述优选的方案，根据具体情形进行标记。

作为优选的方案，异构数据信息语义标签包括：数据名称和/或数据归属信息和/或数据描述和/或数据创建时间。

采用上述优选的方案，根据具体情形进行标记。

作为优选的方案，索引信息包括数据源信息和/或数据信息和/或分布式存储的节点信息和/或索引时间。