[发明专利]一种基于人脸多特征融合的智能电视用户疲劳检测系统及方法

说明书

本发明涉及一种基于人脸多特征融合的智能电视用户疲劳检测系统及方法。该系统基于智能电视应用，主要包括：疲劳检测设置模块，视频数据采集模块，人脸特征点提取模块，眼睛纵横比计算模块，眨眼检测模块，头部姿态检测模块，疲劳智能检测模块。通过眼睛纵横比变化判断单位时间内眨眼发生次数，通过头部姿态倾斜度判断嗜睡事件的发生以及单位时间内持续的时间长度，联合判决用户疲劳状态，并基于此系统提出一种实现方法，对智能电视使用场景中疲劳检测多维度特征进行了较为全面的多特征融合分析和联合决策，提升了疲劳识别的准确度，降低了误触发的概率。

技术领域

本发明涉及智能电视终端技术和人脸识别领域，尤其涉及一种基于人脸多特征融合的智能电视用户疲劳检测系统及方法。

背景技术

随着社会的发展和科技的进步，人民的生活水平日益提高，智能电视已经在千家万户中得到普及，成为人们日常生活休闲娱乐的重要组成，非常受大众欢迎。但在生活中，长时间的观看电视往往会产生疲劳的状态，经常发生不知不觉睡着的情况，而此时如果电视继续播放，不但会形成资源的浪费，也会影响睡眠质量，如何判断观看电视时观众的疲劳状态成为了人们关注的问题。

发明内容

本发明针对现有问题，提出了一种基于人脸多特征融合的智能电视用户疲劳检测系统及方法，系统及方法利用眨眼特征，坐姿特征等多特征融合进行联合疲劳检测，基于眼睛纵横比的概念，考虑到用户的睡眠先验的统计特征和嗜睡特性，创新的提出一个阈值自适应调整的眨眼检测判决准则，准确的囊括了眨眼判决的标准。同时，在上述自适应眨眼判决准则之外，引入了身体姿态和头部倾斜角度检测的这一关键特征，对智能电视使用场景中疲劳检测多维度特征进行了较为全面的多特征融合分析和联合决策，提升了疲劳识别的准确度，降低了误触发的概率。

本发明解决上述技术问题，本发明一方面提供一种基于人脸多特征融合的智能电视用户疲劳检测系统，具体包括疲劳检测设置模块，视频数据采集模块，人脸特征点提取模块，眼睛纵横比计算模块，眨眼检测模块，头部姿态检测模块，疲劳智能检测模块。

所述疲劳检测设置模块，用于设置疲劳检测相关参数。特别的，在当前设置没有更新配置时，自动执行默认配置。

所述视频数据采集模块，用于视频信号的采集。一般可以通过USB标准接口，为智能电视配备摄像头外部设备，此模块将摄像头采集的实时视频或者拍照数据传入相应位置存储，为后续的人脸特征点提取提供实时的数据。

所述人脸特征点提取模块，用于获取来自视频数据采集模块提供的视频数据，采用成熟的开源软件进行人脸特征点检测。其中，人脸特征点检测，即人脸特征点定位、人脸对齐，是在人脸检测的基础上进行的，人脸检测包括对人脸上的特征点例如嘴角、眼角等进行定位。利用成熟的开源软件进行类似特征的提取，例如工业界成熟的Dlib库，它是一种开源的、免费的包含机器学习算法的C++开源工具包，目前Dlib库已经被广泛运用在行业和学术领域,包括机器人,嵌入式设备,移动电话和大型高性能计算环境。

此处优选Dlib库作为中人脸特征点提取实现的主要工具，它的提取模块可以检测人脸的68个关键特征。

所述眼睛纵横比计算模块，用于在人脸特征点提取模块中提取的多个特征中选取关键的眼部特征点，计算眼睛纵横比。

眼睛纵横比的物理含义表示纵向的眼睛宽度和横向眼睛宽度的比值。

此处优选从Dlib库提取的68个关键特征中的6个关键眼部特征点进行计算。

所述眨眼检测模块，用于获取眼睛纵横比计算模块中得出的眼睛纵横比，计算眼睛疲劳因子的数值，判断眨眼事件的发生。当眼睛疲劳因子数值大于给定的阈值时，标识识别到一次眨眼事件，并统计给定时间周期内发生的眨眼次数；当眼睛疲劳因子数值小于等于给定的阈值时，标识未发生眨眼事件。