[发明专利]科学实验卫星任务数据的多维数据立方体构建系统及方法

权利要求书

1.一种科学实验卫星任务数据的多维数据立方体构建系统，其特征在于，所述系统包括：数据源集获取模块、多维数据立方体构建模块和数据分析模块；

所述数据源集获取模块，用于获取科学实验卫星任务数据；

所述多维数据立方体构建模块，用于为科学实验卫星任务数据构建多维数据立方体；

所述数据分析模块：用于对构建好的多维数据立方体进行维度上的立方体变换，通过立方体维度聚集在立方体层上进行变化，呈现出科学实验卫星任务数据在不同层次、不同粒度、不同维度上的规律；

所述多维数据立方体构建模块包括：维度确立模块，数据预处理模块，中心表索引建立模块，数据分发和分布计算模块以及数据抽取模块；

所述维度确立模块：用于建立科学实验卫星数据的多维数据立方体的数据结构；

所述多维数据立方体的数据结构为一个三元组：DC＝(D，H，M)；

D＝{D₁，D₂，...，D_n}表示数据立方体的维，每一个维和一个维表相对应，一个维表对应一个主题；D_i＝(d_i1，d_i2，...，d_ik)对应一个维表，其中1≤i≤n，n表示维表的个数；k表示D_i维对应的维表中的属性个数，d_ij表示D_i维对应的维表中第j个属性，1≤j≤k；

H＝{H₁，H₂，...，H_n}表示多维数据立方体所对应的概念层次，其中H_i是D_i对应的概念层次；定义H_i＝(h_i1＜h_i2＜…＜h_ip)，Hi表示概念层次之间的全序或偏序关系，即h_i1的层次低于h_i2的层次；

M＝{M₁，M₂，...，M_m}表示多维数据立方体对应的事实度量，它是一组数值函数，这些函数对数据立方体空间的每个点求值；

多维数据立方体的维度聚集结果Ag为：

Ag＝{f₁(M)，f₂(M)，...，f_s(M)}

其中，f_i(M)为数据立方体对应的事实度量M的第i个聚集函数；

所述数据预处理模块：用于对科学实验卫星任务数据进行预处理；

所述中心表索引建立模块：用于使用中心表将多个维表关联起来，并对中心表数据进行分块、编号、建立中心表索引，建立中心表数据及对应维表数据分布的节点地址的索引，并记录其数据量；

所述数据分发和分布计算模块：用于根据建立的中心表索引，根据中心表中关联的维度数据块，按索引将科学实验卫星任务数据分发给索引指定的计算节点，计算节点用于执行中心表索引计算机的维度聚集指令和分析操作指令，并将运算结果返回；

所述数据抽取模块：用于根据确定的主题维度信息，通过中心表索引找到相应中心表及其关联数据，按指定维度对相关数据进行抽取。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括：数据增量提取模块：用于当多维数据立方体的分析操作带来特定维度内数据变化时，在已抽取的数据基础上只进行发生增量变化的数据提取。

3.根据权利要求1所述的系统，其特征在于，所述数据预处理模块包括无效数据清理单元、数据集成单元、数据归约单元和数据变换单元；

所述无效数据清理单元：用于将不符合数据格式定义的数据和重复数据剔除；

所述数据集成单元：用于合并来自多个数据源的数据，并统一不同数据源的数据格式；

所述数据归约单元：用于剔除当前主题下的冗余数据；

所述数据变换单元：用于将数据进行离散化和概念分层，从而在多个抽象层次上进行分析。

4.根据权利要求1所述的系统，其特征在于，所述立方体变换包括：上卷、下卷、切片或旋转。