[发明专利]一种融合脑电波和生理信号的多感知智能人机交互方法

说明书

本发明公开的属于人工智能与物联网技术领域，具体为一种融合脑电波和生理信号的多感知智能人机交互方法，包括以下步骤：步骤1：通过摄像机对驾驶员的图像数据进行分析，同时通过传感器采集司机生理信号，从而实时对驾驶员的状态进行检测；步骤2：车载终端对步骤1中采集到的数据进行处理后，通过物联网终端发送到云服务器，通过应用移动端能够从云服务器获取数据并将其可视化，当出现异常驾驶行为时，将进行语音警告；本发明针对识别司机行为精度低和实时性差等问题，使用了多模态感知的方法以提高准确性和速度，通过利用物联网智能硬件平台加装Wifi通信模块使此系统部署极为简便。

技术领域

本发明涉及人工智能与物联网技术领域，具体为一种融合脑电波和生理信号的多感知智能人机交互方法。

背景技术

基于车辆行驶数据的智能监控和安全保障，最常使用的技术有：传感器来测量车辆的内部状态，如方向盘角度、加速度、角速度，使用移动智能手机内置传感器来监测驾驶行为。由于以上技术需要较高的成本并且部署困难，很难成为市场上驾驶的主流；基于视频图像的智能监控和安全保障的经典方法是计算PERCLOSE(眼睑闭合的百分比)作为检测疲劳的标准。然而该方法的检测对关照敏感，需要在弱光条件下进行，具有较低的精度和鲁棒性；基于可穿戴设备的智能监控和安全保障，对于驾驶员的复杂状态，如驾驶时的注意力不集中，利用生理信号检测是研究最多的监测方法。该方法通常分为接触法和非接触法，前者包括呼吸、脑电图、心电图等生物特征的提取。在数字信号处理的方法中，有使用运筹学理论来评估驾驶员的状态，还有通过手腕运动检测疲劳的疲劳报警手镯，但是可穿戴设备的智能监控和安全保障方法有着实际应用难、数据粒度粗、没有觅踪功能且警示用户的体验不佳等问题。

一种新的高级驾驶辅助和监测系统(ADMAS)结构，检测异常情绪、警示和保护司机行车安全。该系统可以提前预测并纠正司机不良情绪；基于深度学习的异常情绪检测，可以预测驾驶员在执行某些动作前几秒的行为；基于脑电波的情绪检测，可以采用“湿电极”和“干电极”两种方式。

采用“湿电极”检测精度高但佩戴装置复杂，采用“干电极”检测收集装置简便但精度不高并且会受到外界噪声的干扰。目前基于司机异常驾驶行为检测研究主要包括：基于车辆驾驶数据、基于穿戴设备和基于视频图像的检测。基于车辆驾驶数据，成本过高、实时性差；基于穿戴设备，便捷度低，体验效果差，没有觅踪和警示功能；基于视频图像的智能监控，鲁棒性差，识别精度低。综上所述，目前基于司机异常情绪、行为和生理信号的检测，国内外的研究都缺少一种有效、高效和识别精度高的监测，并及时预警、监管司机异常情绪、行为和生理信号的安全驾驶监测系统。

发明内容

本发明的目的在于提供一种融合脑电波和生理信号的多感知智能人机交互方法，以解决上述背景技术中提出的成本过高、实时性差；基于穿戴设备，便捷度低，体验效果差，没有觅踪和警示功能；基于视频图像的智能监控，鲁棒性差，识别精度低的问题。

为实现上述目的，本发明提供如下技术方案：一种融合脑电波和生理信号的多感知智能人机交互方法，包括以下步骤：

步骤1：通过摄像机对驾驶员的图像数据进行分析，同时通过传感器采集司机生理信号，从而实时对驾驶员的状态进行检测；

步骤2：车载终端对步骤1中采集到的数据进行处理后，通过物联网终端发送到云服务器，通过应用移动端能够从云服务器获取数据并将其可视化，当出现异常驾驶行为时，将进行语音警告；

其中，所述传感器包括用于采集脑电波信息的脑电波仪器、PPG传感模块，所述PPG传感模块包括心率传感器与血氧浓度传感器，且PPG传感模块放置与方向盘套中，所述物联网终端包括5G通信模块、加速传感器、酒精传感器、语音模块与WIFI通信模块，所述5G通信模块用于与云服务器交互，所述语音模块用于与驾驶者实时语音交互，所述应用移动端用于云服务器进行数据交互获取驾驶者数据。