[发明专利]一种基于多任务卷积神经网络的舌象分类方法

说明书

一种基于多任务卷积神经网络的舌象分类方法，包括对采集到的舌象进行一系列预处理的图像操作、用于舌整体特征提取的深度卷积神经网络、用于对舌面标签进行检测的感兴趣区域定位网络、用于深度学习和训练识别的多任务深度卷积神经网络，完成对舌象舌色、苔色、苔质的厚薄、腐腻、润燥属性的标签分类。本发明有效的解决了现有方法不能对舌象舌色、苔色、苔质的厚薄、腐腻、润燥等多个属性进行同时识别的多分类问题。

技术领域

本发明涉及一种分析方法，具体涉及中医舌诊、移动互联网、数据库管理、计算机视觉、数字图像处理、模式识别、深度学习和深度卷积神经网络等技术在舌象自动分析领域的应用。

背景技术

舌诊是中医临床最直接、最基本的诊断方法之一，自古以来就受到众多医家的推崇，广泛应用于临床实践。舌象包含着人体丰富的生理和病理信息，通过对患者舌面苔迹、舌质相关属性,包括颜色、形态等进行观察,从而判断疾病所在,进行辨证论治，这对中医用药及判断疾病有重要的参考意义。但长期以来，由于舌诊结果完全依赖于医生的主观判断，诊断信息的正确与否受到医生的经验积累、环境因素的影响，导致舌诊缺乏客观的诊断方法与标准，且大多数舌象诊断经验不易于传授和保存，在一定程度上阻碍了舌诊的发展。因此，以中医理论为基础，将中医诊疗与图像分析技术相结合，对舌象进行定量分析，实现舌诊的客观化、标准化和定量化成为中医舌诊发展的必经之路。

颜色是舌诊中最重要的一个特征，在舌图像的分析过程中，舌色和苔色提供了大量有参考价值的诊断信息，因此关于舌像颜色的研究较多。除舌色和苔色外，纹理的识别也对后续的诊断具有重要的意义。近几年，也有些研究者关注舌面裂纹和齿痕，苔质厚薄、腐腻等的识别和分析。一张舌象同时包含颜色、纹理等多种属性信息，颜色可细分为舌色、苔色，纹理可细分为裂纹、齿痕等。因此舌象属于多标签数据，舌象分类属于多分类问题。

(1)舌质的颜色。淡红舌反映出人体气血调和，心气充足，多见于正常健康人，也见于外感病初期，病情较轻。淡白舌多见于气虚证、血虚证和实寒证。较正常舌色红，呈鲜红色谓之红舌。舌色较红舌颜色更深或暗红，谓之绛舌。二者皆主热证。全舌均匀呈现紫色，或局部有青紫色斑点，谓之青舌，主气血运行不畅，癖滞。舌质色紫者，谓之紫舌，由气血壅滞，运行不畅所致。

(2)舌苔的颜色。白苔为正常舌苔，病多主寒证，表证，湿证。黄苔，有淡黄、深黄、焦黄之分，无论哪种都主热证，里证。苔色愈黄，说明热邪愈甚。淡黄苔为轻热，深黄苔为热甚，焦黄苔为热极。灰黑苔多由白苔或黄苔转化而来。黑苔多在久病或病情较重时才出现，主热极或寒盛。但无论寒热均属重证，黑色越深，病情越重。

(3)舌苔的质地。苔质颗粒细腻致密，均匀成片，如涂有油腻之状，紧贴舌面，揩之不去，刮之不脱，称为腻苔。且有粘腻、滑腻、垢腻、燥腻之分。苔质颗粒粗大，质地疏松，如豆腐渣堆积舌面，揩之不去，称为腐苔。

(4)舌苔的厚度。舌苔厚与薄以“见底”和“不见底”作为衡量标准，透过舌苔能隐隐见到舌质称为薄苔，也叫见底苔。不能透过舌苔见到舌质者，称为厚苔，又叫不见底苔。舌苔厚薄反映邪正的盛衰和病位的深浅，主表证和里证。

(5)舌形。包括老嫩、胖瘦、肿胀、点刺、裂纹等。

以上各个舌象特征都从不同的侧面反映了人体生理与病理的变化。中医在观察舌象时，往往是对多个特征进行综合处理和分析然后得到相应的结论。

申请号为CN02103795.7的中国专利申请公开了一种基于多类支持向量机的中医舌色、苔色、舌苔厚度分析方法。该方法是由数码相机进行图象采集，并通过USB接口将图象输人到计算机处理器中，在处理器中将舌体区域从舌图象中分割出来，还依次包括下述步骤：在进行分级聚类分析生成聚类树并调整的基础上，采用基于聚类树的支持向量机(CTSYM)方法进行舌体区域像素识别，并把舌体区像素识别的类别数设为15种；将舌面分为五个区域，统计各区中数量最多的像素类别，及各种类型的象素数；进行舌色描述；进行舌苔色描述；进行舌苔厚定量分析和描述；最后采用文字和伪彩色图显示分析结果。