[发明专利]基于多模态信息的婴儿啼哭诉求检测方法

摘要

本发明提出了一种基于多模态信息的婴儿啼哭诉求检测方法，其步骤为：首先，采集婴儿心率信号和啼哭声音信号，并对其进行特征提取，获得心率信号和语音信号图节点特征向量；其次，利用图学习模块分别对心率信号和语音信号图节点特征向量进行处理，获得心率动态学习图和语音动态学习图；再将心率信号动态学习图和语音信号动态学习图输入多层特征融合图卷积神经网络中进行判别，输出婴儿啼哭诉求分类结果；最后，婴儿监护人根据实际情况对婴儿啼哭诉求分类结果进行判断与修正反馈。本发明能够将婴儿啼哭时的心率信号和语音信息结合，使用婴儿近期啼哭信息生成动态学习图，实现更准确的且拥有个体独立性和成长性的婴儿啼哭诉求信息识别。