[发明专利]基于端云协同的舌象检测仪及其检测方法

权利要求书

1.基于端云协同的舌象检测仪的检测方法，其特征在于，所述检测方法包括以下步骤：

步骤1：收集舌体图像并将收集的舌体图像进行人工标注；

步骤2：对收集的舌体图像进行预处理；

步骤3：搭建深度学习模型，将预处理后的舌体图像用于模型训练；

步骤4：对步骤3训练后的模型进行压缩；

步骤5：对用户手持设备采集的舌体图像进行预测；

步骤6：预测结果在用户手持设备进行展示；

所述步骤3中搭建深度学习模型具体为，用深度可分离卷积设计轻量化的舌体检测模型A，用标准卷积分别设计常规的舌体检测模型B和舌象检测模型C，将预处理后的舌体图像用于进行模型迭代训练，并缩放为统一大小的尺寸；

所述步骤4中对步骤3中的舌体检测模型A、舌体检测模型B和舌象检测模型C进行压缩处理，在保证交叉熵损失没有明显提高的前提下，对原模型进行滤波器级裁剪，按照归一化的L1范数排序剪去重要性比较弱的滤波器；将模型参数和激活值由单精度浮点数量化为int8整型数值进行模型推理，降低模型推理所需功耗并提高模型的推理速度；同时运用知识蒸馏技术，用压缩前的舌体检测模型A、舌体检测模型B和舌象检测模型C指导裁剪、量化后的模型进行恢复训练，舌体检测模型A由于部署在用户手持设备；

所述步骤5具体为，先从用户手持设备上捕获包含舌体的图像，然后上传到云服务器，其中用户手持设备内的舌体检测模型A在经过训练与压缩后，在用户手持设备实时辅助用户捕获含有舌体的图片，舌体检测模型A只需要判断图像上有无舌体而不需要回归出具体的位置，同时为舌体检测模型A输出的置信度设置阈值，只有捕获的舌体图像检测出来的置信度超出阈值才视为捕获成功；

所述捕获成功的舌体图像，经过舌体检测模型B检测出舌体的详细具体的位置，输出给舌象检测模型C进一步提取出舌神、舌形、舌色、舌态、苔质和苔色特征，根据舌象特征在词语数据库中查找对应的建议词句，最后组合得到检测报告通过互联网在传输回用户手持设备用于结果展示；

所述步骤3中的模型训练包括随机的旋转、翻转、裁剪和颜色扰动的数据增广处理；

所述裁剪的具体过程为，

对于一个输入通道数为C_in，输出通道数为C_out，输出特征图尺寸为H×W，卷积核大小为k×k的卷积层，记是卷积层第i个滤波器上的权重张量；

其计算规模为MAC＝C_in×C_out×k×k×H×W，

其规范化的L1范数为

那么定义滤波器的全局重要性为，

I_i＝||W_i||′₁×MAC＝||W_i||₁×H×W；

裁剪时计算各个卷积层的各个滤波器的全局重要性指数，记第i个卷积层的第j个滤波器的全局重要性指数为I_i,j并进行排序，选取I_i,j最小的一部分滤波器进行裁剪；然后进行少量迭代的恢复训练恢复裁剪后模型的精度，随后重复前述裁剪步骤，反复迭代，直到达到目标计算规模。

2.根据权利要求1所述的基于端云协同的舌象检测仪的检测方法，其特征在于，所述步骤1具体为收集包含舌体的图像，将舌体区域人工框选出来，并由专业的中医师从舌色、舌态、苔色三个维度对舌象特征进行人工标注。

3.一种利用权利要求1-2任一所述的基于端云协同的舌象检测仪的检测方法的装置，其特征在于，所述舌象检测仪包括用户手持设备与云服务器，所述用户手持设备的摄像头用于捕获图像，将捕获的图像检测后通过互联网传输到云服务器，所述云服务器利用带有舌体的图片进行舌象检测，所述舌象检测结果数据存储的同时生成报告通过互联网在传输回用户手持设备用于结果展示。