[发明专利]一种增强现实的人机交互方法及设备

权利要求书

1.一种增强现实的人机交互方法，其特征在于，包括：

S100，在车辆前设置带标尺摄像头，所述带标尺摄像头采集车辆前的图像；

S200，提取所述图像中各个实际对象，并确定各个实际对象的参数；

S300，确定虚拟对象的参数；将实际对象与虚拟对象进行匹配，确定虚拟对象的缩放比，根据所述缩放比确定虚拟对象图形；

S400，将所述虚拟对象图形通过增强现实设备显示；

S500，驾驶者通过语音或手势的方式与虚拟现实设备进行人机交互；

针对缩放前后的虚拟对象的图像进行如下计算以确保缩放过程中图像不会发生失真问题，具体操作方式如下：

通过确定缩放前后所有像素点的位移差确定缩放的质量，具体可通过能量差最小函数确定：

其中，为缩放前后的能量差最小函数，A为位移向量，为缩放后的图像，为缩放前的图像，i为图像上的像素点，为缩放前的图像上第i个像素点，n为像素点的数量，i=1,2,3…n，为梯度计算，=A为位移向量，x为水平位移，y为垂直位移；为缩放后的图像第i个像素点经过位移向量A后所在的位置；表示权重；

根据所述能量差最小函数可以确定所有像素点缩放前后的相似度，根据每个像素点的能量差最小函数的值确定图像中所有像素点的平均值，再根据平均值判断每个像素点的偏差，若具有偏差的像素点超过阈值，则认定缩放后的图像质量出现了问题，需要通过再次缩放处理形成新的缩放后的图像；

所述S500包括：

S501，在正对驾驶者的位置设置手势摄像头，采集驾驶者的动作信息；

S502，在人机交互过程中，在所述增强现实设备的显示端显示操作手势或语音提示；

S503，驾驶者根据显示的操作手势或语音提示进行动作或输入语音指令；

S504，若驾驶者输入的动作与显示端显示的操作手势不同，在显示端显示动作不规范提醒标记，并通过语音提醒驾驶者正确输入动作；

所述S502包括：

S5021，在所述增强现实设备中设置数据库，所述数据库中包括每个虚拟对象对应的操作手势或语音提示，以及所述操作手势或语音提示的图标，以及操作手势或语音提示相对于所述虚拟对象的位置，以及当出现错误的输入时，所述操作手势或语音提示的图标对应的不规范提醒标记；

S5022，在所述增强现实设备的显示端显示所述虚拟对象以及虚拟对象对应的且在预设位置的操作手势或语音提示的图标；

相应的，所述S504包括：

S5041，在所述显示端显示动作不规范提醒标记；

S5042，预设提醒显示时间和图标显示时间；

S5043，通过所述提醒显示时间和图标显示时间交替显示所述操作手势或语音提示的图标和所述动作不规范提醒标记。

2.根据权利要求1所述的增强现实的人机交互方法，其特征在于，所述S100之后还包括：

S600，在车辆后设置普通摄像头，所述普通摄像头采集车辆后的后视图像；

S700，将所述后视图像与带标尺摄像头采集车辆前的图像进行全景图像融合，形成全景图像。

3.根据权利要求1所述的增强现实的人机交互方法，其特征在于，所述S300包括：

在车载控制系统形成所述虚拟对象图形；

在所述S300之后还包括：

S301，在所述车辆上设置车载显示屏，所述车载显示屏连接车载控制系统；

S302，所述车载控制系统将所述虚拟对象图形与所述带标尺摄像头采集的图像进行融合，形成虚拟现实图像；

S303，将所述虚拟现实图像传输至所述车载显示屏上；

S304，在所述车载显示屏上显示所述虚拟现实图像；

S305，驾驶者通过语音或手势的方式与所述车载显示屏进行人机交互。