[发明专利]视频流滤波方法、装置、设备及存储介质

说明书

本申请公开了一种视频流滤波方法、装置、设备及存储介质，该方法包括步骤：获取二维特征点的三维空间信息；所述二维特征点从视频流的一帧图像中确定；基于所述三维空间信息，确定所述二维特征点的法线投影值；输入所述法线投影值至三维滤波核，得到滤波结果；所述三维滤波核用于基于所述法线投影值对所述视频流进行滤波。本申请实现了通过三维信息来对视频流进行滤波，使得由此确定的边界信息是包含三维的边界信息的，而不会存在三维的边界信息缺失的问题，进而提高了视频流滤波得到的边界信息的准确性。

技术领域

本申请涉及视频流处理领域，尤其涉及一种视频流滤波方法、装置、设备及存储介质。

背景技术

AR(Augmented Reality，增强现实)在使用时，需要使用到三维建模。三维建模主要是基于边界检测和处理的技术来实现的。

视频流滤波是一种边界检测和处理的技术，目前的视频流滤波考虑的是单帧图像的帧内邻域像素的边界信息及相邻帧的帧间信息，所考虑的信息均为图像中二维的边界信息(包括光线突变、色彩突变等)。因此，基于二维的边界信息来进行三维建模，会造成三维的边界信息的缺失，使得基于二维的边界信息来进行三维建模，得到的三维物体不够准确。即由于边界信息是二维的，对于三维建模而言，视频流滤波得到的边界信息不够准确。

发明内容

有鉴于此，本申请实施例提供一种视频流滤波方法、装置、设备及存储介质，旨在提高视频流滤波得到的边界信息的准确性。

为实现上述目的，本申请提供一种视频流滤波方法，所述方法包括：

获取二维特征点的三维空间信息；所述二维特征点从视频流的一帧图像中确定；

基于所述三维空间信息，确定所述二维特征点的法线投影值；

输入所述法线投影值至三维滤波核，得到滤波结果；所述三维滤波核用于基于所述法线投影值对所述视频流进行滤波。

示例性的，所述输入所述法线投影值至三维滤波核，得到滤波结果，包括：

获取所述二维特征点的邻域像素的权重；

输入所述权重和所述法线投影值至三维滤波核，得到滤波结果；所述三维滤波核至少包括二维滤波核，所述二维滤波核为所述邻域像素的像素值。

示例性的，所述获取二维特征点的三维空间信息，包括：

对所述二维特征点进行视觉重建，得到所述二维特征点对应的三维坐标；所述三维坐标为所述二维特征点的三维空间信息。

示例性的，所述对所述二维特征点进行视觉重建，得到所述二维特征点对应的三维坐标，包括：

获取所述二维特征点在所述图像上的第一二维坐标；

获取与所述图像互为相邻帧的两个相邻图像；

获取两个相邻二维特征点分别在两个相邻图像上的两个第二二维坐标；所述两个相邻二维特征点与所述二维特征点是通过同一三维特征点成像得到的；

基于所述第一二维坐标和所述两个第二二维坐标，计算所述三维坐标。

示例性的，所述基于所述第一二维坐标和所述至少两个第二二维坐标，计算所述三维坐标，包括：

输入所述第一二维坐标和所述至少两个第二二维坐标至坐标转换模型，得到三维坐标；所述坐标转换模型基于相机的成像原理构建得到。

示例性的，所述基于所述三维空间信息，确定所述二维特征点的法线投影值，包括：

将所述三维特征点投影至所述图像，得到所述二维特征点的法线投影值。

示例性的，所述将所述三维特征点投影至所述图像，得到所述二维特征点的法线投影值，包括：