[发明专利]用于肌肤检测的电子设备的交互方法及电子设备

说明书

本申请提供一种用于肌肤检测的电子设备的交互方法及电子设备，该方法通过对用户的手部动作和面部的识别，确定目标手部动作，并基于该目标手部动作确定用户的手部动作针对的检测目标，电子设备基于所述检测目标及检测目标的形态，从扩展内容库中确定与该检测目标及检测目标的形态关联的扩展内容，并输出所述扩展内容。根据本申请实施例的用于肌肤检测的电子设备的交互方法及电子设备，能够通过用户在护肤或化妆过程中的实时图像，准确识别出用户的手势以及该手势表明的意图，给出该手势对应的皮肤状态信息及皮肤护理或化妆的处理建议。使得交互过程更加自然流畅，提升用户的体验。

技术领域

本申请涉及软件应用技术领域，尤其涉及用于肌肤检测的电子设备的交互方法及电子设备。

背景技术

目前，市场上已存在部分基于图像技术进行皮肤检测的产品，这些产品通过对用户的图像检测分析用户的皮肤状态，可以为客户提供较好的体验，但现有的肌肤检测产品需要对获取的图像的整体的皮肤进行全面检测，在得到检测结果后，用户需要进入指定的功能页面去观看分析结果，如，用户想要观看肤色，则点击肤色的功能选项，进入肤色分析页，以观看肤色结果。这种产品需要客户多次单机操作，操作麻烦，部分现有产品还需要额外的硬件配件，例如美容检测仪，操作硬件配件时有可能接触皮肤问题区域，造成细菌传播，交叉感染，现有产品的另一种应用中，需要用户手动去选择护肤化妆产品或化妆手法，化妆过程中，用户双手并不方便触摸屏幕进行选择操作。

发明内容

有鉴于此，本申请提供一种用于肌肤检测的电子设备的交互方法及电子设备，能够通过用户在护肤或化妆过程中的实时图像，准确识别出用户的手势以及该手势表明的意图，给出该手势对应的皮肤状态信息及皮肤护理或化妆的处理建议。使得交互过程更加自然流畅，提升用户的体验。

本申请的一些实施方式提供了一种用于肌肤检测的电子设备的交互方法。以下从多个方面介绍本申请，以下多个方面的实施方式和有益效果可互相参考。

第一方面，本申请提供一种用于肌肤检测的电子设备的交互方法，应用于电子设备，该方法包括：获取同时包括用户的面部和手部的多个视频帧，如，用户的实时图像；识别多个视频帧中的用户的手部相对于面部的动作，并确定目标手部动作；响应于目标手部动作，确定视频帧中的用户的面部上至少部分区域中的检测目标，其中检测目标可以包括痘痘、细纹、毛孔、黑头、痤疮、斑块、红血丝、鼻子、嘴巴、眼睛、眉毛、脸部轮廓和皮肤颜色等中的一种或多种。基于检测目标及检测目标的形态，如，眉毛的形态为弯月形、八字形等，从扩展内容库中确定与该检测目标及检测目标的形态关联的扩展内容，并输出扩展内容，扩展内容可以包括：基于护肤状态时的检测目标的问题分析和护理建议中的一种或多种，或者，基于化妆状态时的检测目标的化妆状态分析和化妆建议中的一种或多种。本申请实施例，能够通过用户在护肤或化妆过程中的实时图像，准确识别出用户的手势以及该手势表明的意图，给出该手势对应的皮肤状态信息及皮肤护理或化妆的处理建议。使得用户与设备的交互过程更加自然流畅，提升用户的体验。

在上述第一方面的一种可能的实现中，确定目标手部动作，包括：电子设备确定视频帧中的手指的指尖所在位置距离面部所在位置小于预设距离，则确定手部动作为目标手部动作。通过确定手指与面部的距离的设定作为目标动作，可以避免一些不必要的手势的错误的识别，而将误判用户的意图。

在上述第一方面的一种可能的实现中，确定目标手部动作，包括：确定视频帧中的手指的指尖所在位置距离面部所在位置小于预设距离，并且确定视频帧中手指相对于面部相对静止持续的时间大于预设时间，则确定手部动作为目标手部动作。进一步提高基于手势判断用户意图的准确性。

在上述第一方面的一种可能的实现中，确定目标手部动作，包括：确定视频中包括两只手；并且确定视频帧中的两只手的手指的指尖所在位置距离面部所在位置小于预设距离，并且确定视频帧中两只手的手指相对于面部相对静止持续的时间大于预设时间，则确定手部动作为目标手部动作。