[发明专利]一种航天器异构测试数据集成管理系统

权利要求书

1.一种航天器异构测试数据集成管理系统，其特征在于，包括：数据采集模块、数据存储模块和数据查询与下载模块；

所述数据采集模块用于采集航天器测试数据并按照结构化数据和非结构化数据分类输出所述航天器测试数据；

所述数据存储模块用于根据预定格式将所述航天器测试数据分别存储在分布式存储数据库和分布式文件系统中；

所述数据查询与下载模块用于查询及下载所述分布式存储数据库和分布式文件系统中的航天器测试数据。

2.根据权利要求1所述的装置，其特征在于，所述数据存储模块包括结构化数据采集子模块、非结构化数据采集子模块、数据导入子模块和文件导入子模块；

所述结构化数据采集子模块用于从所述航天器测试数据中提取结构化数据并输出；

所述非结构化数据采集子模块用于从所述航天器测试数据中提取非结构化数据并输出；

所述数据导入子模块用于将所述结构化数据按照指定格式输出至所述分布式存储数据库；

所述文件导入子模块用于将所述非结构化数据按照指定格式输出至所述分布式文件系统。

3.根据权利要求2所述的装置，其特征在于，所述数据存储模块还包括结构化数据清洗子模块；

所述数据清洗子模块用于对所述结构化数据进行野值剔除以及对无效值和缺失值进行处理。

4.根据权利要求1至3任意一项所述的装置，其特征在于，所述数据存储模块包括第一存储子模块；

所述第一存储子模块用于以时间为行索引并以每个航天器部件为列族，并通过表的形式存储所述结构化数据。

5.根据权利要求4所述的装置，其特征在于，所述数据存储模块还包括第一导入子模块；

所述第一导入子模块用于获取所述表的名称、数据文件和说明文件名称，若所述数据文件或说明文件不为空，则将数据文件按照说明文件中的格式导入所述分布式存储数据库。

6.根据权利要求1至3任意一项所述的装置，其特征在于，所述数据查询与下载模块包括第一数据查询子模块；

所述第一数据查询子模块用于获取所述表的名称、起始行、结束行和列名，并对获取的起始行和结束行名进行规范化处理后，从所述分布式存储数据库中查询与所获取的起始行、结束行名最接近的行名作为新的起始行、结束行名，并从所述分布式存储数据库中获取所有行名和列名并排序，从中截取起始行与结束行所包含的行名，并对获取的列名中的列族名进行该列族所属全部列名的替换，从所述分布式存储数据库中读取指定的行和列并输出查询结果。

7.根据权利要求1至3任意一项所述的装置，其特征在于，所述数据存储模块包括第二存储子模块；

所述第二存储子模块用于以文件名称作为行索引、分别以位置信息和属性信息为列族，并通过表的形式存储所述非结构化数据。

8.根据权利要求7所述的装置，其特征在于，所述数据存储模块还包括第二导入子模块；

所述第二导入子模块用于获取本地文件的路径和文件标签，若所述本地文件路径下的文件存在，则将所述文件导入所述分布式文件系统，并将所述文件的名称、存储路径和标签导入所述分布式存储数据库。

9.根据权利要求1至3任意一项所述的装置，其特征在于，所述数据查询与下载模块包括第二数据查询子模块；

所述第二数据查询子模块用于获取需要查询的标签及所述分布式文件系统中所有文件的信息，若所述标签的查询结果为空，则将搜索结果记为所述分布式文件系统存储的所有文件，并将搜索结果输出，若所述标签的查询结果不为空，则将搜索结果记为所有与所述标签的内容一致的行号，并将搜索结果输出。

10.根据权利要求1至3任意一项所述的装置，其特征在于，所述数据查询与下载模块还包括数据下载子模块；

所述数据下载子模块用于获取本地下载路径和下载文件名称，若所述分布式文件系统中存有所述下载文件名称对应的文件，则将所述文件批量下载至本地路径并输出下载成功提示。