[发明专利]一种基于混合级联卷积的跌倒检测方法和装置

权利要求书

1.一种基于混合级联卷积的跌倒检测方法，其特征在于，包括：

步骤S1、将获取跌倒行为数据进行预处理，得到数据集；

步骤S2、根据所述数据集，训练混合级联卷积神经网络；

步骤S3、将实际监测的视频数据输入到所述混合级联卷积神经网络，得到实时跌倒检测结果；

所述混合级联卷积神经网络的主体结构为Resnet50，在残差模块中插入时空信息整合单元和表象信息处理单元并取消残差连接构成混合级联卷积神经网络的基本模块；时空信息整合单元包括：一个卷积核大小为1的2D-CNN、一个卷积核大小为3的2D-CNN、一个卷积核大小为3的1D-CNN、两个批量归一化层；

时空信息整合单元的工作流程为：获取上层网络输出的数据X1，其大小为[N*T, C, H,W]，其中，N、T、C、H、W分别为批量训练样本的大小、每段视频抽样的帧数、通道数、每一帧的高度、每一帧的宽度；X1首先经过卷积核大小为1的2D CNN层和批量归一化层得到X11，其大小尺寸与X1一致；然后将X11输入到卷积核大小为3的1D-CNN和2D-CNN的混合卷积模块中得到特征X12，X12包含视频中的时空特征；最后将X12经过另一个批量归一化层得到输出数据X13；

表象信息处理单元的工作流程为：首先将时空信息整合单元的输出数据X13在分成大小尺寸一样的四部分X21、X22、X23、X24，其大小为[N*T,C/4,H,W]；其次将X21与其他分离的数据X22、X23、X24分别进行融合变为新的四部分，新的四部分的大小为[N*T,C/4,H,W]；然后将融合后的特征信息分别输入到卷积核大小3的2D-CNN中并进行归一化，即，

，

最后将卷积后的特征融合成output2，output2大小为[N*T,C,H,W]。

2.一种基于混合级联卷积的跌倒检测装置，其特征在于，包括：

预处理模块，用于将获取跌倒行为数据进行预处理，得到数据集；

训练模块，用于根据所述数据集，训练混合级联卷积神经网络；

检测模块，用于将实际监测的视频数据输入到所述混合级联卷积神经网络，得到实时跌倒检测结果；

所述混合级联卷积神经网络的主体结构为Resnet50，在残差模块中插入时空信息整合单元和表象信息处理单元并取消残差连接构成混合级联卷积神经网络的基本模块；时空信息整合单元包括：一个卷积核大小为1的2D-CNN、一个卷积核大小为3的2D-CNN、一个卷积核大小为3的1D-CNN、两个批量归一化层；

时空信息整合单元的工作流程为：获取上层网络输出的数据X1，其大小为[N*T, C, H,W]，其中，N、T、C、H、W分别为批量训练样本的大小、每段视频抽样的帧数、通道数、每一帧的高度、每一帧的宽度；X1首先经过卷积核大小为1的2D CNN层和批量归一化层得到X11，其大小尺寸与X1一致；然后将X11输入到卷积核大小为3的1D-CNN和2D-CNN的混合卷积模块中得到特征X12，X12包含视频中的时空特征；最后将X12经过另一个批量归一化层得到输出数据X13；

表象信息处理单元的工作流程为：首先将时空信息整合单元的输出数据X13在分成大小尺寸一样的四部分X21、X22、X23、X24，其大小为[N*T,C/4,H,W]；其次将X21与其他分离的数据X22、X23、X24分别进行融合变为新的四部分，新的四部分的大小为[N*T,C/4,H,W]；然后将融合后的特征信息分别输入到卷积核大小3的2D-CNN中并进行归一化，即，

，

最后将卷积后的特征融合成output2，output2大小为[N*T,C,H,W]。