[发明专利]一种环境感知方法及系统

说明书

本发明涉及了一种环境感知方法，所述方法包括如下步骤：将初始时刻的RGB图像和深度图像输入轻量级特征提取网络进行特征提取，获得静态特征向量；根据静态特征向量生成当前环境的静态图表；将当前时刻的RGB图像和深度图像输入轻量级特征提取网络进行特征提取，获得动态特征向量；利用动态特征向量、上一时刻的动态图表和当前环境的静态图表，构建当前时刻的动态图表；将当前环境的静态图表和当前时刻的动态图表进行融合，获得当前时刻的环境感知结果。本发明不仅有效的分辨出了环境中的目标位置、类别，并进一步的结合人类的感知机理确定目标的优先级，本发明提供了一种基于人类感知机制的环境感知方法，提高了视觉辅助的适用性。

技术领域

本发明涉及环境感知技术领域，特别是涉及一种环境感知方法及系统。

背景技术

通过计算机视觉的方法为视障人士提供辅助视觉服务相比其他方法具有视障人士感知环境更全面的优势。

在目前的方法中，对视障人士感知环境和检索目标所用图像特征提取方法的研究还不够充分；其次，利用提取到场景的细节特征和语义特征帮助视障人士获取所处环境的物体目标信息还不够完善；最后，作为视障人士的视觉辅助，其机器视觉处理算法模拟人类对场景的感知过程还不够充足。并且视障人士所需检索的物体目标信息不仅包含目标的外形、轮廓、尺寸等细节信息，还要包含了物体属性、类别、功能的高层语义信息，二者在完成目标检索的过程中同等重要。机器感知对于场景中的所有物体“一视同仁”，而人类对于场景的感知有着心理学的机制参与。研究表明，人类具有快速理解场景全局特征的能力，进而人类对于场景中的重点事物会重点关注。这是人们在路上行走时能够躲避障碍、预判风险的关键。

发明内容

本发明的目的是提供一种环境感知方法及系统，以提供一种基于人类感知机制的环境感知方法，以提高视觉辅助的适用性。

为实现上述目的，本发明提供了如下方案：

本发明提供一种环境感知方法，所述方法包括如下步骤：

获取当前环境的初始时刻的RGB图像和深度图像；

将初始时刻的RGB图像和深度图像输入轻量级特征提取网络进行特征提取，获得静态特征向量；

根据静态特征向量确定当前环境中的目标的位置、类别和优先级，生成当前环境的静态图表；

获取当前环境的当前时刻的RGB图像和深度图像；

将当前时刻的RGB图像和深度图像输入轻量级特征提取网络进行特征提取，获得动态特征向量；

利用动态特征向量、上一时刻的动态图表和当前环境的静态图表，构建当前时刻的动态图表；

将当前环境的静态图表和当前时刻的动态图表进行融合，获得当前时刻的环境感知结果；

当到达下一时刻时，将下一时刻更新为当前时刻，返回步骤“获取当前环境的当前时刻的RGB图像和深度图像”。

可选的，所述将当前时刻的RGB图像和深度图像输入轻量级特征提取网络进行特征提取，获得动态特征向量，之后还包括：

将动态特征向量与静态特征向量进行对比，确定当前环境是否发生变化，当当前环境发生变化时，则更新当前环境，并将动态特征向量作为静态特征向量，返回步骤“根据静态特征向量确定当前环境中的目标的位置、类别和优先级，生成当前环境的静态图表”。

可选的，所述利用动态特征向量、上一时刻的动态图表和当前环境的静态图表，构建当前时刻的动态图表，之后还包括：

根据当前时刻与静态图表更新时刻的时间间隔判断是否到达静态图表更新时间，当到达静态图表更新时间时，将当前时刻设置为静态图表更新时刻，并更新当前环境的静态图表。