[发明专利]高光谱卫星遥感数据的分布式处理方法、系统及介质

摘要

本发明提供一种高光谱卫星遥感数据的处理方法、系统及计算机存储介质，处理方法包括：检索高光谱卫星遥感数据的索引，将索引转换成为分布式数据集，分发分布式数据集及广播卫星定标数据；若需求为0级卫星产品时，形成第一像素值集合，将第一像素值集合拼接为0级卫星产品对应的图像；若需求为1级卫星产品时，形成第二像素值集合，将第二像素值集合拼接为1级卫星产品对应的图像；若需求为2级卫星产品时，接收指定区域数据，训练机器学习模型，对再接收的感兴趣区域数据进行定标和去噪处理，用机器学习模型进行预测，形成预测结果的数据集合，以生成2级卫星产品对应的图像。本发明提高了数据处理和产品生产的速度；减少了硬盘数据读写的时间。

主权项

1.一种高光谱卫星遥感数据的处理方法，其特征在于，在执行所述处理方法之前，客户端获取用户所选择的高光谱卫星遥感数据的需求和图像产品的产品参数，并创建分布式数据处理任务，以提交至卫星数据处理和产品生产平台处理高光谱卫星遥感数据；所述卫星数据处理和产品生产平台包括后台及与所述后台通信连接的包含多个计算节点的分布式计算平台；所述处理方法包括：S1，根据用户对高光谱卫星遥感数据的需求，检索符合需求的高光谱卫星遥感数据的索引，将检索到的高光谱卫星遥感数据的索引转换成为对应的分布式数据集，并将分布式数据集及卫星产品生产过程中所产生的卫星定标数据分发到各个计算节点；S2，若对图像产品的产品类型需求为0级卫星产品时，根据所述分布式数据集在数据库中并行查找与0级卫星产品对应的高光谱卫星遥感数据，在各个节点上解析对应的高光谱卫星遥感数据，以获取卫星图像的像素值，合并所获取的卫星图像的像素值，形成第一像素值集合，按照数据时间顺序将所述第一像素值集合中的像素值拼接为0级卫星产品对应的图像；S2'，若对图像产品的产品类型需求为1级卫星产品时，根据所述分布式数据集在数据库中并行查找与1级卫星产品对应的0级高光谱卫星遥感数据，在各个节点上解析对应的高光谱卫星遥感数据，以获取卫星图像的像素值，对所获取的卫星图像的像素值和卫星定标数据进行定标、去噪、合并处理，形成第二像素值集合，按照数据时间顺序将所述第二像素值集合中的像素值拼接为1级卫星产品对应的图像；S2”，若对图像产品的产品类型需求为2级卫星产品时，接收用户从所述1级卫星产品对应的图像中选取的指定区域数据，对所述指定区域数据进行定标和去噪处理，将定标和去噪处理后的指定区域数据作为训练样本，训练机器学习模型；再接收用户从所述1级卫星产品对应的图像中选取的感兴趣区域数据，对所述感兴趣区域数据进行定标和去噪处理，利用所述机器学习模型对定标和去噪处理后的感兴趣区域中像素值进行预测，用预测结果所对应的颜色替换感兴趣区域中的原像素值，将替换后的像素值作为预测结果，对所述预测结果进行合并，以形成预测结果的数据集合；根据预测结果的数据集合，生成2级卫星产品对应的图像。