[发明专利]一种电子设备及其交互方法

说明书

本申请适用于手写交互技术领域，提供了一种电子设备的交互方法包括：电子设备显示交互图像；电子设备根据手写笔的运动信息获取手写笔的第一操作，其中所述运动信息包括手写笔的相对运动信息；电子设备在所述交互图像上显示虚拟交互界面，在所述虚拟交互界面响应所述第一操作。通过获取手写笔的相对运动信息，可以对手写笔进行更为细致的相对位移检测，从而能够更为准确的确定手写笔的书写轨迹，对书写轨迹能够进行更为准确的还原，便于实现更为精细的交互操作。

技术领域

本申请属于手写交互技术领域，尤其涉及一种电子设备及其交互方法。

背景技术

虚拟现实、增强现实以及混合现实等产业正随着5G传输技术、显示技术和交互技术的发展而逐渐崛起。比如，混合现实技术通过合并现实和虚拟世界而产生新的可视化环境，通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

通过数据手套等新兴的针对混合现实场景的交互技术可以较好的针对游戏娱乐场景，但是通过数据手套输入文字内容的能力较弱。而通过视觉算法采集手写笔图像进行笔尖检测的操作方式，无法准确的确定笔尖位置，因而不能对书写轨迹进行准确的还原。

发明内容

本申请实施例提供了一种电子设备及其交互方法，可以解决现有技术中通过手写笔进行交互输入时，无法准确确定笔尖位置问题。

第一方面，本申请实施例提供了一种电子设备的交互方法包括：电子设备显示交互图像，所述交互图像可以为当前场景的图像，或者也可以为播放多媒体文件的图像；电子设备根据手写笔的运动信息获取手写笔的第一操作，其中所述运动信息包括手写笔的相对运动信息，所述第一操作可以包括点击操作、书写操作，或者还可以包括手写笔在腾空状态下的笔尖移动操作；电子设备在所述交互图像上显示虚拟交互界面，在所述虚拟交互界面响应所述第一操作，当所述第一操作为点击操作时，可以在所述虚拟交互界面中触发点击指令，当所述第一操作为书写操作时，可在所述虚拟交互界面中显示对应的书写轨迹或书写内容。

所述电子设备用于显示交互图像和虚拟交互界面，可以接收手写笔等输入设备输入的交互数据，在所显示的虚拟交互界面中响应交互数据。所述电子设备可以为头戴式显示设备，虚拟现实眼镜、增强现实眼镜或混合现实眼镜等电子设备。所述相对运动信息，可以通过陀螺仪、惯性传感器、加速度传感器等传感设备采集得到。所述电子设备通过获取手写笔的相对运动信息，可以对手写笔进行更为细致的相对位移检测，从而能够更为准确的确定手写笔的书写轨迹，对书写轨迹能够进行更为准确的还原，便于实现更为精细的交互操作。在可能的实现方式中，所述传感设备设置在手写笔的笔尖位置，通过采集笔尖位置的相对运动信息，能够更为准确的获取手写笔的书写轨迹。

在一种实现方式中，所述交互图像为当前场景的图像，可以通过当前场景的图像与交互图像的对应关系，确定手写笔的书写位置。可以包括：根据当前场景的图像，获取手写笔在所述当前场景中的位置，其中，手写笔在当前场景中的位置，可以通过手写笔相对于手写平面的相对位置关系来表示；根据所述手写笔在所述当前场景中的位置，确定手写笔的笔尖在所述虚拟交互界面中的手写位置，通过手写笔相对于手写平面的相对位置关系，结合预先所设定的映射关系，可以确定笔尖在虚拟交互界面中的对应位置。

在确定手写笔的书写轨迹的同时，还可以通过对手写笔在当前场景中的位置进行定位，确定手写笔在当前场景中的位置，可以对处于腾空状态的手写的待书写位置进行跟踪。比如，可以通过移动虚拟图标，包括如虚拟手写笔、虚拟光标的方式，实时跟踪手写笔在虚拟交互界面中的对应位置，从而提升用户书写的便利性。

在确定手写笔在当前场景中的位置的实现方式中，可以包括：根据摄像头获取当前场景的图像，通过当前场景的图像直接确定手写笔在当前场景中的位置；或者，还包括获取当前场景的深度信息，结合深度信息，更为准确的获取所述手写笔在当前场景中的位置。