[发明专利]一种基于Att-Res2-CE-Net的鼻内部疾病实时辅助诊疗系统

权利要求书

1.一种基于Att-Res2-CE-Net的鼻内部疾病实时辅助诊疗系统，其特征在于，基于Att-Res2-CE-Net，使用Res2Net50特征提取主干网络，将密集空洞卷积块DAC模块和残差多核池化RMP模块嵌入Attention U-Net网络，实时辅助诊疗系统包括视频采集处理端、云平台、服务器端，所述视频采集处理端包括数个鼻内窥镜视频采集设备，并与云平台无线连接，所述云平台与服务器无线连接，在服务器上配置目标分割网络及跟踪网络，对视频流中截取出的图像实时分割和跟踪；

系统的使用方法包括以下具体步骤：

步骤1：建立包含鼻息肉、真菌性鼻窦炎和鼻腔肿瘤的鼻部疾病数据集；

步骤2：使用Res2Net50作为特征提取主干网络，将密集空洞卷积块DAC模块和残差多核池化RMP模块嵌入到Attention U-Net网络框架中，构建基于Att-Res2-CE-Net的鼻内部疾病目标分割网络；

步骤3：设置视频帧数计数器i为1；

步骤4：Att-Res2-CE-Net对所述视频采集处理端提供的视频流第i帧进行分割，得到鼻部疾病的轮廓；使用opencv中提供的findContours函数来寻找图像中疾病轮廓，并使用boundingRect函数生成最小外接矩形，比较所有外接矩形的面积，将最大面积的矩形和其疾病名称输入到目标跟踪网络；

步骤5：帧数计数器i加1,目标跟踪网络对所述视频采集处理端提供的视频第i帧进行目标跟踪和目标分割；如果目标跟踪失败，跳转回步骤3,否则生成疾病区域的掩膜和最小外接矩形，并显示疾病名称；

步骤6：判断帧数计数器i是否小于2倍的视频帧率，如果小于跳转到步骤5，否则跳转到步骤3。

2.根据权利要求1所述的一种基于Att-Res2-CE-Net的鼻内部疾病实时辅助诊疗系统，其特征在于，所述步骤2的具体过程为：

使用Res2net50作为所述目标分割网络的特征提取主干网络，将提取的特征输出到DAC模块；

设置DAC四个级联分支，第一个分支是扩张速率为1的3*3空洞卷积，第二个分支是扩张速率为1的1*1空洞卷积,扩张速率为3的3*3空洞卷积，第三个分支是扩张速率为1的1*1空洞卷积,扩张速率为3的3*3空洞卷积，扩张速率为1的3*3空洞卷积，第四个分支是扩张速率为1的1*1空洞卷积,扩张速率为5的3*3空洞卷积，扩张速率为3的3*3空洞卷积，扩张速率为1的3*3空洞卷积；

按元素相加DAC4个分支结果输出到RAM模块；

设置RAM四个级联分支分别是2*2,3*3,5*5和6*6池化层，按照通道数拼接4个分支输出结果与输入特征图。

3.根据权利要求1所述的一种基于Att-Res2-CE-Net的鼻内部疾病实时辅助诊疗系统，其特征在于，所述步骤5的具体过程为：

帧数计数器i加1,目标跟踪网络对所述视频采集处理端提供的视频流第i帧进行预测，得到掩膜分支和分类分支，用于精确追踪鼻内部病变区域轮廓和范围；

根据分类分支的预测得分，将最高得分对应的掩膜作为输出，根据掩膜的最小最大x、y坐标值生成坐标轴对齐的矩形框；

如果目标跟踪失败，跳转回步骤3，否则输出疾病区域的掩膜和最小矩形框，并显示疾病名称。