[发明专利]一种纽扣式人机交互装置及方法

说明书

一种纽扣式人机交互装置及方法，该方法包括如下步骤：图像采集模块采集红外图像；图像处理模块对采集到的红外图像按照按键控制模块发送的命令进行相应的处理，得到人脸、表情、手势的特征数据；将所述特征数据和与之对应的id存储在SPI Flash数据存储模块中；交互执行模块实时采集红外图像，经所述图像处理模块提取特征数据后与所述SPI Flash数据存储模块中存储的特征数据进行比对，比对成功则对人机交互终端设备执行相应的动作。该纽扣式人机交互装置不仅具有体积小、功耗低、使用便捷的优势，还通过多类异构特征的提取与识别，大幅增强了装置使用的安全性。

技术领域

本公开属于图像处理、计算机视觉、人机交互和人工智能技术领域，特别涉及一种纽扣式人机交互装置及方法。

背景技术

在人工智能高速发展的时代，计算机、手机以及更多嵌入式系统如家电设备、可穿戴设备、机器人等越来越多的出现在人们的生活、工作中，它们的出现使研究人机之间的信息交换具有重要意义。自然和谐的人机交互方式是人类对操控机器的理想目标，使机器能读懂人在自然状态所传递的命令。在从人逐渐适应计算机到计算机不断适应人的互相作用的过程中，人机交互不再局限于手柄操作、键盘输入等外设操作的方法，而是以更加新颖便捷的方式出现，比如手指的微小动作、眼珠的转动、表情的变化、手势的变化等，为用户带来了全新的操控方式和人机交互体验。这种新型交互方式的出现，使他们的应用范围也越来越广泛，涵盖了智能家居、游戏娱乐、无人零售等应用领域。

微软Kinect是目前人机交互设备的代表，采用红外结构光的主动视觉模式，通过语音、手势等交互方式，可以很好的操作Kinect的体感游戏，Kinect体感游戏在Xbox 360上也获得非常好的评价。Kinect虽然有很多优势，但是它的缺点也不容忽视，比如价格昂贵，尺寸太大，而且需要很多的外接线，这些问题影响了用户体验，限制了它的应用范围。

发明内容

为了解决上述问题，本公开提供了一种纽扣式人机交互装置，包括图像采集模块、图像处理模块、SPI Flash数据存储模块、按键控制模块和交互执行模块；其中，

所述图像采集模块包括红外摄像头和泛光灯，用于采集红外图像；

所述图像处理模块包括NPU和驱动程序，用于对采集到的红外图像进行处理，得到人脸、表情、手势的特征数据；

所述SPI Flash数据存储预先模块用于存储所述特征数据和与之对应的id；

所述按键控制模块通过按键给图像处理模块发送命令，实现人脸、表情及手势特征的录入、删除和识别；

所述交互执行模块包括人机交互终端设备，用于实时采集红外图像，经所述图像处理模块提取特征数据后与所述SPI Flash数据存储模块中存储的特征数据进行比对，比对成功则对人机交互终端设备执行相应的动作。

本公开还提供了一种纽扣式人机交互方法，包括如下步骤：

对采集到的红外图像按照按键控制模块发送的命令进行相应的处理，得到人脸、表情、手势的特征数据；

将所述特征数据和与之对应的id预先存储在SPI Flash数据存储模块中；

提取实时采集红外图像的特征数据后与所述SPI Flash数据存储模块中存储的特征数据进行比对，比对成功则对人机交互终端设备执行相应的动作。

上述方案中图像采集模块采集红外图，图像处理模块通过多个深度学习网络检测识别出人脸、表情及手势，提取各自的深度网络特征，并分别与SPI Flash数据存储模块预先存储的人脸、表情及手势特征进行比对，如三种特征都比对成功，则认为本次识别成功，并由交互模块执行动作。按键控制模块用于人脸、表情及手势特征的录入、删除等操作。纽扣式人机交互装置不仅具有体积小、功耗低、使用便捷的优势，还通过多类异构特征的提取与识别，大幅增强了装置使用的安全性。

附图说明