[发明专利]基于双目视觉的吞咽检测方法及装置、设备、存储介质

权利要求书

1.一种基于双目视觉的吞咽检测方法，其特征在于，包括：

在患者吞咽过程中，获取患者的连续多帧图像对，每帧所述图像对包含第一喉部图像和第二喉部图像，所述第一喉部图像和第二喉部图像中均包含粘贴于患者喉部的标记；

通过识别所述第一喉部图像和所述第二喉部图像中所述标记的特征得到每帧所述图像对的三维喉部特征，所述三维喉部特征包含喉部关键点三维位置；

根据所述多帧图像对的所述喉部关键点三维位置，获得患者的喉部运动数据；

根据所述患者的喉部运动数据，获得所述患者的吞咽数据；

所述通过识别所述第一喉部图像和所述第二喉部图像中所述标记的特征得到每帧所述图像对的三维喉部特征，包括：

从当前帧图像对的第一喉部图像中提取所述标记的第一边缘特征；

从所述当前帧图像对的第二喉部图像中提取所述标记的第二边缘特征；

根据所述第一边缘特征与所述第二边缘特征，获得当前帧图像对的匹配特征点对；

利用所述匹配特征点对执行点云重建，以得到当前帧图像对的三维喉部特征。

2.根据权利要求1所述的吞咽检测方法，其特征在于，所述标记为细条状贴纸，所述细条形贴纸粘贴于患者喉部皮肤表面时所述细条形贴纸的形态与喉部甲状腺软骨皮肤表面呈现的形态一致。

3.根据权利要求1所述的吞咽检测方法，其特征在于，所述根据所述第一边缘特征与所述第二边缘特征，获得当前帧图像对的匹配特征点对，包括：

在所述第二边缘特征中，为所述第一边缘特征中每个像素点寻找匹配像素点，以获得第一容器和第二容器，所述第一容器包含第一像素点，所述第一像素点为所述第一边缘特征中能够在第二边缘特征中寻找到匹配像素点的像素点，所述第二容器包含第二像素点，所述第二像素点为所述第一像素点在第二边缘特征中的匹配像素点；

在所述第一边缘特征中，为所述第二容器中的每个所述第二像素点寻找匹配像素点，以获得第三容器，所述第三容器包含第三像素点，所述第三像素点为所述第二像素点在所述第一边缘特征中的匹配像素点；

依序逐个对比所述第一容器中的第一像素点与所述第三容器中的第三像素点；

所述第一容器中的每个第一像素点与第三容器中相同序号的第三像素点相同时，以所述第一容器中的所述第一像素点和所述第二容器中的第二像素点作为所述匹配特征点对。

4.根据权利要求3所述的吞咽检测方法，其特征在于，所述寻找匹配像素点的步骤基于如下的评价函数执行：

其中，I₁为包含所述第一边缘特征的图像，I₂为包含所述第二边缘特征的图像，(u,v)为I₁中的一个像素点，以(u,v)为中心在I₁中取邻域作为I₁的模板，根据I₁的模板选择I₂的模板，W为所述模板的代号，M是所述模板所占像素个数，(x,y)表示预先确定的I₂中模板相对于I₁中模板的偏移量，表示I₁中模板区域的均值，表示I₂中模板区域的均值，(u₀，v₀)表示I₁中的另一个像素点，k为预先设定的比例参数，S(x,y)表示评价值，评价值最小时达到最佳匹配。

5.根据权利要求1所述的吞咽检测方法，其特征在于，

所述喉部关键点为喉部突出点；

所述方法还包括：从所述三维喉部特征中提取所述喉部突出点的三维位置。

6.根据权利要求5所述的吞咽检测方法，其特征在于，所述喉部突出点的三维位置为所述三维喉部特征中喉部前后运动方向坐标值最大的像素点的三维位置。