[发明专利]全景深度估计方法、装置、终端设备及存储介质

权利要求书

1.一种全景深度估计方法，其特征在于，包括：

采集全景图像；

对所述全景图像进行预处理，得到上部图像、下部图像和极角；

利用所述上部图像、所述下部图像和所述极角得到初始代价体；

对所述初始代价体进行处理，以得到视差图像；

对所述视差图像进行优化处理，得到深度图像；

其中，所述利用所述上部图像、所述下部图像和所述极角得到初始代价体，包括：

利用权重共享神经网络对所述上部图像、所述下部图像和所述极角进行特征提取，以得出分别相对应的上部特征图像、下部特征图像和极角特征信息；将所述上部特征图像和所述下部特征图像分别与所述极角特征信息进行特征融合，分别相对应得到主代价体和变形代价体；将所述主代价体和所述变形代价体融合成所述初始代价体；

其中，所述主代价体由添加所述极角的所述上部特征图像和未添加所述极角的所述下部特征图像组成；所述变形代价体由未添加所述极角的所述上部特征图像和添加所述极角的所述下部特征图像组成；所述初始代价体通过所述主代价体和所述变形代价体卷积融合而形成。

2.根据权利要求1所述的一种全景深度估计方法，其特征在于，所述对所述初始代价体进行处理，以得到视差图像，包括：

利用空洞空间卷积池化金字塔对所述初始代价体进行代价计算，得到中间代价体；

利用堆叠沙漏网络对所述中间代价体进行代价聚合，得到所述视差图像。

3.根据权利要求1所述的一种全景深度估计方法，其特征在于，所述采集全景图像，包括：

利用八目相机采集全景图像。

4.根据权利要求1所述的一种全景深度估计方法，其特征在于，所述将所述上部特征图像和所述下部特征图像分别与所述极角特征信息进行特征融合，分别相对应得到主代价体和变形代价体，包括：

将所述上部特征图像和所述极角特征信息进行特征融合再进行融合特征过滤，得到主代价体；

将所述下部特征图像和所述极角特征信息进行特征融合再进行融合特征过滤，得到变形代价体。

5.一种全景深度估计装置，其特征在于，包括：

采集单元，用于采集全景图像；

预处理单元，用于对所述全景图像进行预处理，得到上部图像、下部图像和极角；

操作单元，用于利用所述上部图像、所述下部图像和所述极角得到初始代价体；

处理单元，对所述初始代价体进行处理，以得到视差图像；

优化单元，用于对所述视差图像进行优化处理，得到深度图像；

其中，所述操作单元包括：

提取单元，用于利用权重共享神经网络对所述上部图像、所述下部图像和所述极角进行特征提取，以得出分别相对应的上部特征图像、下部特征图像和极角特征信息；

融合单元，用于将所述上部特征图像和所述下部特征图像分别与所述极角特征信息进行特征融合，分别相对应得到主代价体和变形代价体；

结合单元，用于将所述主代价体和所述变形代价体融合成所述初始代价体；其中，所述主代价体由添加所述极角的所述上部特征图像和未添加所述极角的所述下部特征图像组成；所述变形代价体由未添加所述极角的所述上部特征图像和添加所述极角的所述下部特征图像组成；所述初始代价体通过所述主代价体和所述变形代价体卷积融合而形成。

6.根据权利要求5所述的一种全景深度估计装置，其特征在于，所述处理单元包括：

计算单元，用于利用空洞空间卷积池化金字塔对所述初始代价体进行代价计算，得到中间代价体；

聚合单元，用于利用堆叠沙漏网络对所述中间代价体进行代价聚合，得到所述视差图像。

7.一种终端设备，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至4任一所述的全景深度估计方法。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，其特征在于，所述计算机可执行指令被控制处理器执行时实现如权利要求1至4任一所述的全景深度估计方法。