[发明专利]一种基于人工智能的航拍场景下果冻效应预防方法及系统

说明书

本发明提供一种基于人工智能的航拍场景下果冻效应预防方法及系统，涉及人工智能领域；该方法包括卷帘快门相机采集图像；利用光流法获得图像的光流信息，根据图像光流信息和无人机飞行速度得到图像中运动像素点和静止像素点；根据静止像素点的光流信息得到果冻效应指标作为时序预测网络的标签训练时序预测网络；将无人机的飞行速度、相机的快门时间以及IMU的读数输入时序预测网络预测未来帧图像的果冻效应指标；构建图像的动态特征，根据时序预测网络得到的果冻效应指标和当前帧的动态特征，确定调整模式及时调整无人机相关参数。本发明实现了拍摄图像的质量预测，及时调整无人机参数预防果冻效应，确保采集到高质量图片。

技术领域

本发明涉及人工智能、航拍技术领域，具体涉及一种基于人工智能的航拍场景下果冻效应预防方法及系统。

背景技术

卷帘快门的特点是CMOS像素渐次曝光，这样的好处是可以达到更高的帧率，在使用无人机进行航拍时，为了得到清晰的图像经常使用卷帘快门。

发明人在实践中，发现上述现有技术存在以下缺陷：

由于无人机本身是具有高速运动能力的设备，且在拍摄作业的同时会有不同程度的不同频率的震动，这种震动对于相机来说也是一种高速运动。这种高速运动使得卷帘快门拍出的图像中不同行的像素之间存在时间差，使得图像出现斜拉、扭曲、摇摆不定等现象，这种现象称为果冻效应，影响航拍的成像质量。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的航拍场景下果冻效应预防方法及系统，所采用的技术方案具体如下：

第一方面，本发明实施例提供了一种基于人工智能的航拍场景下果冻效应预防方法，该方法包含以下步骤：

将无人机的飞行速度、相机的快门时间以及IMU的读数输入时序预测网络预测未来帧图像的果冻效应指标；时序预测网络的标签为对每帧图像中的静止像素点的光流信息进行分析获取的果冻效应指标，静止像素点是根据图像的光流信息和无人机的飞行速度获得；以每帧图像中运动像素点的面积和静止像素点的面积比作为动态特征，根据动态特征与预设阈值进行比较，判断静止像素点和运动像素点的权重；根据时序预测网络得到的果冻效应指标和每帧图像的动态特征，确定调整模式及时调整无人机相关参数；调整模式的选取方法为：当静止像素点的权重高时，将挂件阻尼调节至目标阻尼；当运动像素点的权重高时，计算运动像素点的平均运动速度，根据平均运动速度调节无人机的飞行速度，并将挂件阻尼调节至目标阻尼；目标阻尼是根据以果冻效应指标为输入、以目标阻尼为输出的挂件阻尼调节网络获取。

进一步地，对每帧图像中的静止像素点的光流信息进行分析获取的果冻效应指标的步骤包括：根据每帧图像中的每行静止像素点的光流信息，获得每帧图像的光流信息序列；根据光流信息序列，计算相邻行之间光流信息的差异，得到光流信息变化序列；

根据光流信息变化序列的均值和方差，确定果冻效应指标。

进一步地，以每帧图像中运动像素点的面积和静止像素点的面积比作为动态特征的步骤包括：对图像的二值图进行连通域分析，得到静止像素点的面积；对图像的二值图进行转置，进行连通域分析，得到运动像素点的面积；根据图像中运动像素点的面积和静止像素点的面积构建动态特征。

进一步地，挂件阻尼调节网络的训练步骤包括：以挂件阻尼为标签，以无人机的IMU读数和果冻效应指标为训练集，训练挂件阻尼调节网络，损失函数采用均方差损失函数，不断迭代，更新模型参数。

第二方面，本发明实施例提供了一种基于人工智能的航拍场景下果冻效应预防系统，包括：

时序预测网络单元，用于将无人机的飞行速度、相机的快门时间以及IMU的读数输入时序预测网络预测未来帧图像的果冻效应指标；时序预测网络的标签为对每帧图像中的静止像素点的光流信息进行分析获取的果冻效应指标，静止像素点是根据图像的光流信息和无人机的飞行速度获得；