[发明专利]卫星数据处理方法及系统

说明书

一种卫星数据处理方法及系统，方法包括：对卫星数据二进制码流进行处理，得到多个传输帧流；对多个传输帧流进行分类，根据分类结果对不同类型的传输帧流进行分类并行处理，得到多个源包流；提取多个源包流的源包数据域，得到多个源包数据单元流；按源包类型对多个源包数据单元流进行分类，根据分类结果对不同类型的源包数据单元流进行分类并行处理，生成产品数据文件。该方法将传统单一节点的数据内存计算转变为多任务数据内存计算，且无需中间结果保存，缩短了数据处理时间，获得了更好的实时处理性能。该系统具有可扩展性和高可靠性，满足数据处理能力和计算节点规模的增长，能快速定位系统瓶颈，开展系统优化设计。

技术领域

本发明涉及数据处理领域，尤其涉及一种卫星数据处理方法及系统。

背景技术

国际空间数据系统咨询委员会(Consultative Committee for Space DataSystems，CCSDS)建立了一整套空间数据标准，因其数据管理的灵活性和信道利用的高效性，空间科学卫星等很多卫星都采用了CCSDS遥测遥控建议的标准数据格式。卫星数据处理过程要求不间断、数据吞吐率高并且数据处理延迟低。随着卫星载荷观测能力的增强和卫星地面接收能力的提高，单次卫星下传数据量急剧增长，而产品生成与分发时效性要求仍保持不变，卫星数据地面应用系统面临大数据实时处理的挑战。

现有卫星数据处理方法采用数据驱动的批量计算模式，首先进行从卫星原始数据到源包数据的预处理，生成源包数据文件作为后续各级产品生产流程的输入数据，数据预处理和产品生产两个处理过程流水并行处理，如图1所示，处理节点间通过网络共享存储数据文件进行数据交互。现有方法采用“计算-存储中间数据-计算”的模式，存在一些技术缺陷：当卫星数据接收量增大时，预处理节点的数据处理延迟增大，生成源包数据文件时间延长，导致产品生产延迟增大，实时性不高，一旦缓存数据量超过内存占用上限，数据将无法正常接收，造成数据缺失；数据预处理为单一节点，难以扩展到分布式计算环境，现有方法不支持卫星数据处理规模的扩展；数据预处理生成的中间结果需保存到外部存储，通过网络共享给产品生产节点，中间结果的保存增加了数据处理的延迟。

发明内容

(一)要解决的技术问题

针对于现有的技术问题，本发明提出一种卫星数据处理方法及系统，用于解决至少部分解决上述技术问题之一。

(二)技术方案

本发明一方面提供一种卫星数据处理方法，包括：S1，对卫星数据的二进制码流进行处理，得到多个传输帧流；S2，对多个传输帧流进行分类，根据分类结果对不同类型的传输帧流进行分类并行处理，得到多个源包流；S3，提取多个源包流的源包数据域，得到多个源包数据单元流；S4，按源包类型对多个源包数据单元流进行分类，根据分类结果对不同类型的源包数据单元流进行分类并行处理，生成产品数据文件。

可选地，每种类型的传输帧流对应一虚拟信道标识，根据虚拟信道标识符对多个传输帧流进行分类。

可选地，针对于每一类型的传输帧流，解析传输帧头信息，根据虚拟信道标识提取源包。

可选地，根据分类结果对不同类型的源包数据单元流进行分类并行处理，生成产品数据文件，包括：按照源包计数进行排序、拼接和去重处理，以预设格式输出文件，生成不同APID的源包产品数据文件。

可选地，对二进制码流进行处理包括：对二进制码流进行帧同步、解扰和译码，纠正二进制码流中的误码。

可选地，按照应用过程标识符提取多个源包流的源包数据域。

可选地，传输帧流包括帧同步字、传输帧主导头、位流业务协议数据单元和校验填充字段；源包流包括同步码、应用过程标识符、分组标志、包序列计数、包数据长度、时间码、包装协议数据单元及填充字段；源包数据单元流包括一个或者多个相同源包类型的包装协议数据单元。