[发明专利]基于双目视觉的吞咽检测方法及装置、设备、存储介质

说明书

本申请公开了一种基于双目视觉的吞咽检测方法及装置、设备、存储介质，吞咽检测方法包括：在患者吞咽过程中，获取患者的连续多帧图像对，每帧图像对包含第一喉部图像和第二喉部图像，第一喉部图像和第二喉部图像中均包含粘贴于患者喉部的标记；通过识别第一喉部图像和第二喉部图像中标记的特征得到每帧图像对的三维喉部特征，三维喉部特征包含喉部关键点三维位置；根据多帧图像对的喉部关键点三维位置，获得患者的喉部运动数据；根据患者的喉部运动数据，获得患者的吞咽数据。本申请能够实现高效准确的吞咽检测，并且本申请是非接触式的，测量过程连续、稳定、无辐射。

技术领域

本申请涉及医疗设备技术领域，尤其涉及一种基于双目视觉的吞咽检测方法及装置、设备、存储介质。

背景技术

放射治疗程中，对计划靶区(planning target volume，PTV)影响的因素很多，如放疗过程中器官自主或不自主的运动、摆位误差、设备误差等。以喉部肿瘤患者为例，器官运动主要来源于吞咽，其对临床靶体积(Clinical Target Volume，CTV)至PTV外放边界的确定影响较大。因此，准确的患者定位和吞咽运动监测管理是达到喉部肿瘤预期治疗精度和治疗效果的关键。成功的吞咽运动监测与管理能够减少PTV外扩范围，确保放疗计划剂量能够准确而全面的覆盖靶区，并且避免周围重要器官受到不必要的照射，提高生存质量。因此，高效准确的吞咽检测至关重要。

目前，对喉和下咽癌等有一定器官运动风险的头颈部肿瘤患者，通过适当控制调强放疗的射野和子野数量，以减少因吞咽运动导致脱靶的情况。使用例如电子计算机断层扫描(Computed Tomography，CT)或锥形束CT(Cone beam CT，CBCT)等获取在线三维图像，对靶区和危及器官的运动和位移进行量化分析。如果没有三维图像，则需使用电子摄野影像装置(Electronic Portal Imaging Device，EPID)。但以上检测方法会增加患者受照剂量和治疗时间，且无法实时获取放射治疗单次时间内患者吞咽运动的真实情况。

发明内容

为了解决或至少部分地解决上述技术问题，本申请提供了一种吞咽检测方法及装置、设备、存储介质，能够在例如在放射治疗等各种环境下实现高效准确的吞咽检测。

本申请的第一方面，提供一种吞咽检测方法，包括：

在患者吞咽过程中，获取患者的连续多帧图像对，每帧所述图像对包含第一喉部图像和第二喉部图像，所述第一喉部图像和第二喉部图像中均包含粘贴于患者喉部的标记；

通过识别所述第一喉部图像和所述第二喉部图像中所述标记的特征得到每帧所述图像对的三维喉部特征，所述三维喉部特征包含喉部关键点三维位置；

根据所述多帧图像对的所述喉部关键点三维位置，获得患者的喉部运动数据；

根据所述患者的喉部运动数据，获得所述患者的吞咽数据。

优选地，所述标记为细条状贴纸，所述细条形贴纸粘贴于患者喉部皮肤表面时所述细条形贴纸的形态与喉部甲状腺软骨皮肤表面呈现的形态一致。

优选地，所述通过识别所述第一喉部图像和所述第二喉部图像中所述标记的特征得到每帧所述图像对的三维喉部特征，包括：从当前帧图像对的第一喉部图像中提取所述标记的第一边缘特征；从所述当前帧图像对的第二喉部图像中提取所述标记的第二边缘特征；根据所述第一边缘特征与所述第二边缘特征，获得当前帧图像对的匹配特征点对；利用所述匹配特征点对执行点云重建，以得到当前帧图像对的三维喉部特征。

优选地，所述根据所述第一边缘特征与所述第二边缘特征，获得当前帧图像对的匹配特征点对，包括：