[发明专利]卫星物联网大数据处理方法

说明书

本发明提供了一种卫星物联网大数据处理方法，包括：在轨卫星载荷接收终端发射的上行传感器数据和通信短报文数据，解调出数据信息，通过与星载计算机的数据通讯接口传送给星上数管，并进行数据的处理和存储；其中利用卫星大数据技术SPARK技术框架来处理数据；在大数据的处理过程中启动资源调度，从而调度资源池中的资源；当资源池进行了调度同时进行反注册任务列表，进行任务的分配；利用大数据模型RDD，通过RDD模型进行资源与任务的统一计算，采用RDD数据模型进行任务的序列执行。

技术领域

本发明属于电子和通信领域，具体涉及一种卫星物联网大数据处理方法。

背景技术

随着我国空间卫星通信技术的发展，低轨卫星物联网成为新的发展趋势，低轨卫星物联网的数据通信量大，过程产生的数据也呈指数级增长，由各类探测器、传感器和地面支撑系统产生的海量数据具有异构性、规模性、实时性、复杂性和隐私性等大数据特点。天启卫星物联网在轨运行期间将接受大量的地面采集数据，低轨卫星物联网大数据从采集、存储、分析到传输，是对大数据的生命周期的控制，从计算能力、存储系统和通信能力三方面对卫星大数据的处理分析提出了新的革命要求。

这些海量数据涵盖了大范围的测试数据等非结构化数据。整个卫星系统生命周期产生的数据种类繁多，数据量非常大，存储分散，时间周期长，具有规模性和异构性特点，需要利用大数据的处理方法，将其综合起来应用到卫星在轨运行管理中。随着新的空间科学任务的不断提出，现有系统渐渐不能满足新业务的需求特性，需要高扩展性、高性能、容错性、伸缩性和低运营成本的数据处理方法。传统数据管理和处理分析系统是基于关系型数据库管理系统和文件系统，这些系统在处理常规量级结构化数据时展现了其突出的性能，但对海量结构化数据、半结构化或非结构化数据的处理能力却支持不足。在高速、多源、海量数据记录等新的处理需求面前，如何有效地进行存储、查询、分析是一个巨大的挑战。

大数据是指数据规模大于10TB以上的数据集，它具有数据量大、数据类型众多、应用价值高、处理速度快等一系列重要特点，这类数据与传统的数据具有明显的差异。在卫星通信系统中，已经形成了PB级的数据量，其特征是具有规模性、多样性、高速性和价值性等特征，大数据正在成为复杂性科学研究以及现代服务业及相关领域发展的重要数据基础。

面对多源异构、规模宏大、高速处理和复杂分析的卫星运控任务新需求，传统关系数据库系统并不适宜，具体原因如下：

(1)关系数据库模型无法高效组织和统一管理所有数据集；

(2)关系数据库仍面临着通过并行操作集群节点实施海量数据集高速处理的瓶颈，关系数据库要应对大规模数据处理，需要解决读操作、更新操作的性能问题，受到事务性(保证数据持久性、一致性、可靠性)的约束；

(3)基于现有关系数据库无法满足统计挖掘分析工具处理数据量对内存容量和并行化水平的要求，传统联机分析软件的处理流程读取数据库中的数据并传送到分析软件所来的大量数据搬迁增加了时间复杂度和空间复杂度。

针对当前大数据技术发展的日益成熟，将大数据技术应用到卫星物联网运控中，提高系统处理性能、容错容灾与扩展能力，对获取的数据进行分析挖掘，为卫星在轨运行提供可依据的技术支撑显得尤为必要。围绕卫星运行产生的海量采集数据、工程数据、科学数据以及卫星有效载荷在运行过程中的数据，将采用大数据技术进行分析，为卫星在轨运行提供更加科学的数据管理方法。

发明内容

本发明所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种卫星物联网大数据处理方法，以兼顾提升系统的数据容量、数据的计算速度和降低数据处理时间之间的协调，兼顾提升系统容量和系统的数据传输效率。