[发明专利]通过手势识别和控制设备运行移动终端的方法、手势识别和控制设备、机动车及可佩戴在头上的输出装置

说明书

本发明涉及一种用于运行移动终端(22)的方法。手势识别和控制设备(10)识别移动终端(22)(S1)并确定由识别出的移动终端(22)的显示设备(24)生成的当前图形用户界面(S2)。手势识别和控制设备(10)提供输出信号，该输出信号描述作为显示内容的由识别出的移动终端(22)的显示设备(24)生成的图形用户界面(S3)，并将提供的输出信号传输到可以佩戴在头部上的输出装置(18)，以用于在机动车(12)内部的预定输出区域(32)中将显示内容作为由输出装置(18)输出的增强现实或虚拟现实的一部分来输出(S4)。在输出显示内容的同时，手势识别和控制设备(10)识别用户的空间手势(S7)，并基于此生成遥控信号(S10)用于触发移动终端(22)的操作功能(S12)，并将生成遥控信号发送到识别出的移动终端(22)的控制设备(26)(S11)。

技术领域

本发明涉及一种用于运行移动终端，例如智能手机或平板电脑的方法，其中该方法由手势识别和控制设备执行。手势识别和控制设备应理解为一种设置用于识别操作手势的仪器、仪器组件或仪器组；它/它们还被设置为接收和评估信号并生成控制信号。可选地，手势识别和控制设备也可以设计为捕捉操作手势，例如通过摄像机。

背景技术

作为通过人机界面(“MMI”)操作车辆系统的替代方案以及作为由驾驶员操作的替代方案，为例如现代机动车后部的乘客提供移动终端，例如平板电脑供使用，在其上可以显示车辆功能，例如当前速度。在此涉及硬件操作部件，该硬件操作部件例如能够设置车辆功能、导航和媒体内容。这在那些经常有人驾驶的车辆中尤其重要，例如在司机服务的车辆中。

然而，这种示例性的平板电脑现在作用起来相当老式，且也只能由一名乘客使用。使用移动终端(例如智能手机)时也会出现同样的问题。

DE 10 2016 207 530 A1描述了一种用于显示虚拟车辆内部空间的系统，具有一个或多个车辆内部组件以及具有数字眼镜，该数字眼镜设置为向用户在视觉上显示虚拟车辆内部空间以及在视觉显示时考虑一个或多个车辆内部空间组件。

从EP 3 079 041 A1已知一种用于为陆地和空中交通工具的乘客提供虚拟现实环境的方法和系统。

DE 10 2017 211 521 A1描述了一种用于运送至少一个用户的机动车，其具有子系统，该子系统设置用于执行机动车的物理功能。

发明内容

本发明的一个目的是简化机动车中移动终端的操作。

提出的该目的通过根据本发明的方法和根据本发明的装置实现。从属权利要求给出了有利的改进方案。

本发明的基本思想在于：将移动终端的用户界面镜像/投屏/共享(spiegeln)到可佩戴在头上的输出装置上并执行空间手势识别以操作镜像用户界面/被投屏的用户界面。空间手势被理解为一种手势，尤其是操作手势，其中，无需触摸触敏表面(例如触摸屏或触摸板)，而是在空间内自由地执行手势。空间手势例如可以是预定的手指姿势和/或手部姿势和/或例如手的运动。

换句话说，在可佩戴在头上的数据眼镜上输出的虚拟或增强现实(“AugmentedReality”，“AR”)中融入了移动终端的用户界面的图像并将其镜像到机动车中。具有相应设置的手势识别和控制设备的机动车与所有移动终端和可佩戴在头上的输出装置兼容。

由此，移动终端的操作不仅非常现代，而且用户在使用可佩戴在头上的用于娱乐功能、例如VR视频游戏的输出装置时，还可以操作移动终端。用户不必每次都摘下输出装置、例如数据眼镜来例如接听电话或在移动终端的日历中查找内容。因而得出了能够例如从后排无需离开虚拟现实(VR)(或增强现实)而对移动终端的全面操作。还能够在用户的任意坐姿和/或卧姿下操作移动终端，在坐姿和/或卧姿时用户可能无法够到移动终端并将其拿来例如在移动终端的触摸屏上执行滑擦手势。通过根据本发明的方法和根据本发明的装置还提供了完全可配置和可扩展的系统。如果机动车以全自动驾驶模式(即，领航驾驶模式)运行，则本发明也可用于机动车的驾驶员。