[发明专利]一种基于多任务学习的舌象诊断方法及舌象诊断系统

说明书

本发明公开了一种基于多任务学习的舌象诊断方法及舌象诊断系统，包括有移动端app、舌体分割模型及舌象分类模型，本发明提供的方法可以对舌体区域进行逐像素点的判别，在不需要先验知识的情况下实现精确分割舌体，使用多任务联合学习网络消除舌象分类中的标签混乱问题，将舌苔、舌质区域和原舌象区域作为多输入，输入的数据分别经过三次不同卷积尺度的特征提取和特征融合，把舌苔、舌质的特征和整个舌象的特征融合起来，加强联合特征之后用特征交叉层进行参数共享以及特征的重组，训练好的舌象分类模型能够实现舌质和苔质的同时分类，与单任务神经网络相比，该方法有着省时、节省计算量并且能高效识别舌象的优点。

技术领域

本发明属于计算机处理图像技术技术领域，涉及一种基于多任务学习的 舌象诊断方法，还涉及该方法使用的一种基于多任务学习的舌象诊断系统。

背景技术

传统舌诊主要通过医生肉眼来观察舌象，依据个人经验知识进行诊断， 存在对医生的主观依赖性较强的缺点，其诊断结果会受到医生的知识水平、 思维模式和诊断技术的限制。以上因素会导致舌诊结果不准确，可重复性较 差，不利于复诊的信息参考也不利于舌诊相关技术的发展。

目前舌诊的客观化和标准化研究仍然存在很多问题：比如使用传统图像 处理对舌象进行分割的效果并不好，而将深度学习引入到舌象分割中，可以 对舌体区域进行逐像素点的判别，实现精确分割；再比如对于舌象分类，由 于舌象属于多标签数据，使用目前的大多数神经网络进行分类的话会导致训 练时出现歧义性问题，而多任务联合学习网络可以消除舌象分类中的标签混 乱问题，实现舌象的准确和高效识别。

发明内容

本发明的第一个目的是提供一种基于多任务学习的舌象诊断方法，解决 现有技术中存在的舌象分割效果不好，舌象分类标签混乱问题。

本发明的另一个目的是提供一种基于多任务学习的舌象诊断系统，具有 通过移动端设备使用户可方便地参与到智能舌诊中，为大众健康服务的特 点。

本发明所采用的第一个技术方案是，一种基于多任务学习的舌象诊断系 统，包括有移动端app、舌体分割模型及舌象分类模型，所述移动端app包 括有UI界面，所述UI界面设置有操作按钮，所述操作按钮触发处理程序， 所诉处理程序包括调取摄像头、打开本地相册、保存图像和舌象诊断，移动 端app中编写模型加载接口，所述加载接口接入舌体分割模型及舌象分类模 型，所述舌体分割模型及所述舌象分类模型直接封装在移动端app。

本发明所采用的另一个技术方案是，一种基于多任务学习的舌象诊断方 法，使用上述一种基于多任务学习的舌象诊断系统，具体按照以下步骤实施：

步骤1：在自然光照条件下，用户进入到舌象诊断系统，根据提示调用 移动端的摄像头对舌体进行拍摄，保存舌体图像；

步骤2：对步骤1所得的舌体图像进行归一化处理为尺寸为300*300*3 的图像；

步骤3：采用舌体分割模型对舌体进行定位分割，去除舌体外的无用区 域；

步骤4：分割出舌体后对舌体区域进行划分，将舌质、舌苔以及原舌象 图传给舌象分类模型；

步骤5：利用舌象分类模型对舌质、舌苔以及原舌象图进行测试，计算 出每个分类结果的概率，取最高概率的分类结果进行输出。

本发明的特点还在于：

舌体分割模型的建立过程具体如下：

步骤1：使用M张舌象原始图片作为舌象分割数据集，对舌象分割数据 集使用labelme进行手工标注，将舌象从复杂的背景中划分出来；

步骤2：labelme标注结束后，每张图像对应生成一个json文件，json 文件包含了图像文件本身以及标注的对象框信息，利用生成的json文件批 量生成mask数据集；