[发明专利]一种基于双目视觉和深度学习的无人机人机交互方法

摘要

本发明涉及一种基于双目视觉和深度学习的无人机人机交互方法，在无人机上搭载嵌入式图像处理平台及双目摄像头，该嵌入式图像处理平台通过接口连接飞行控制器，无人机与地面通过该平台通信，平台带有图形处理器，运行卷积神经网络深度学习算法，在摄像头捕捉视频的同时对图像进行并行计算。本发明将卷积神经网络移植到配置了具有专用图形处理器(GPU)的嵌入式平台上，通过并行计算进行加速从而加快了运行速度。

主权项

1.一种基于双目视觉和深度学习的无人机人机交互方法，其特征在于：在无人机上搭载嵌入式图像处理平台及双目摄像头，该嵌入式图像处理平台通过接口连接飞行控制器，无人机与地面通过该平台通信，平台带有图形处理器，运行卷积神经网络深度学习算法，在摄像头捕捉视频的同时对图像进行并行计算，该交互方法的具体步骤为：1)根据无人机回传的单视点图像，选择无人机领航员，利用鼠标或者触摸屏幕，将领航员的身体上身所在区域圈出来；2)将所选取区域根据人身体比例扩大框选出人整个身体所在区域，同时从另一个视点当中，选取出相应区域的人身体所在区域，并且利用跟踪算法在视频序列中逐帧提取出领航员所在区域并且对领航员进行跟踪，并且根据设定区域的所在位置，将整个人体所在区域的图像分割出来；3)立体匹配，根据基于块匹配的立体匹配算法，将分割出来的左右视点间的图像进行匹配，得到分割后的立体视差图，视差图当中包含领航员的人物以及背景；4)将得到的视差图进行归一化，并且用阈值滤除背景，得到干净的人物图像；5)将相邻两帧的人物图像进行差分，得到差分图像序列；6)按照生成的图片顺序，依次利用不同颜色代表不同时刻的差分图像，进行编码，将大约2s左右的图片产生的人物图像叠加成彩色纹理图；采用滑动窗口的方法，每隔5帧取大约2s左右的图片；7)采集大量的由不同操作者在不同环境下做选定动作的彩色纹理图对神经网络进行训练，训练在专用工作站进行，训练完成后，将训练参数上传至嵌入式图像处理平台；8)在嵌入式图像处理平台上，利用训练好的参数对实时采集并且生成的彩色纹理图进行分类、识别；9)将识别出的动作指令发送给飞行控制器，指导无人机运动。