[发明专利]一种基于深度学习的患者行为多模态感知与分析系统

摘要

本发明涉及一种基于深度学习的患者行为多模态感知与分析系统，包括数据采集单元、患者人体姿态识别单元、患者生理信号识别单元、患者图像信息识别单元、患者语音信息识别单元以及深度融合单元；通过对采集到的患者姿态、生理、图像和语音等多模态数据实现预处理和感兴趣区提取和诊断，深度融合单元采用多模态二维特征和三维特征融合网络结构，由2D深度学习网络获取初步分割结果，并通过3D深度学习网络在初步分割结果的基础上，获取患者行为检测结果。与现有技术相比，本发明实现了更加精准的评估患者行为，准确定位病灶，显著提高了患者病理走向预测准确度，为患者行为科学干预与医疗流程智能优化手段的实施提高有力的基础保障。