[发明专利]基于语义分割的舌面多任务同诊方法、装置及设备

权利要求书

1.一种基于语义分割的舌面多任务同诊方法，其特征在于，所述方法包括：

利用经过训练的舌面语义分割模型对待测舌面图像进行舌面识别以得到舌面识别结果；

将得到的舌部图像和面部图像分别结合中医证型症候知识图谱训练基于卷积神经网络的舌诊推理模型和面诊推理模型；

构建舌面同诊模型，将所述舌诊推理模型和所述面诊推理模型的输出作为所述舌面同诊模型的输入，并通过三级反馈联合预测以输出最终的检测结果。

2.根据权利要求1所述的一种基于语义分割的舌面多任务同诊方法，其特征在于，所述经过训练的舌面语义分割模型的训练过程包括：

获取舌面图像并进行预处理，并对所述舌面图像中的舌面区域及舌诊情况、面诊情况进行标注，以得到标注舌面图像及其标注数据；

将所述标注数据拆分为训练集和测试集；

将所述训练集输入到卷积神经网络中进行训练，以得到舌面语义分割模型；

利用所述测试集对所述舌面语义分割模型进行测试验证；

其中，所述预处理包括裁剪、筛选。

3.根据权利要求2所述的一种基于语义分割的舌面多任务同诊方法，其特征在于，所述标注舌面图像中的标注数据包括：舌面区域中眼、耳、口唇、鼻、舌、人脸、额头和左右脸各个部分及其位置，还包括对应的舌诊情况和面诊情况；其中，

所述舌诊情况包括：舌色、舌形、舌苔、腐腻、厚度、剥苔、点刺、裂纹、齿痕、淤血中任意一种或多种组合；

所述面诊情况包括：面色、光泽、唇色、唇部干湿度、眼眶色中任意一种或多种组合。

4.根据权利要求1所述的一种基于语义分割的舌面多任务同诊方法，其特征在于，所述经过训练的舌面语义分割模型还输出舌部完整程度和面部完整程度。

5.根据权利要求1所述的一种基于语义分割的舌面多任务同诊方法，其特征在于，所述舌诊推理模型或所述面诊推理模型最终获得的舌诊结果或面诊结果为：

d_i＝label_i，p_i，s_i；

其中，i∈{t＝舌，f＝面}；label_i表示对应的舌诊情况或面诊情况；p_i表示舌诊情况或面诊情况对应的可信度；表示舌诊推理模型或面诊推理模型所判断的症候列表。

6.根据权利要求1所述的一种基于语义分割的舌面多任务同诊方法，其特征在于，所述舌面同诊模型输出的最终检测结果DM的表达式为：

DM＝inference(s_t,s_f)；

其中，inference表示相似性、推理性、互补性和互斥性中任意一种或多种组合的计算方法；s_t、s_f分别表示舌诊推理模型、面诊推理模型对应的症候列表。

7.根据权利要求6所述的一种基于语义分割的舌面多任务同诊方法，其特征在于，所述舌面同诊模型的结果评分p_dm的表达式为：

p_dm＝f(c_t×p_t+c_f×p_f)；

其中，f表示所述舌面同诊模型的评分函数；c_t、c_f分别表示舌部完整程度、面部完整程度；p_t、p_f分别表示舌诊情况可信度、面诊情况可信度。