[发明专利]对鼓膜病理进行分类的系统、方法和计算机可读介质

权利要求书

1.一种对视频中的鼓膜病理进行分类的方法，所述方法包括以下步骤：

使用视频捕获设备捕获鼓膜的视频；

对所捕获的视频的视频帧执行预处理以生成一个或多个复合图像，其中，所述视频帧中的障碍物和所述视频帧的照明被检测，并且在选择所述视频帧的感兴趣区域中被使用，所选择的感兴趣区域被使用以形成所述一个或多个复合图像；

从所述一个或多个复合图像中提取计算机视觉特征和临床动机的耳膜特征；以及

使用所述计算机视觉特征和所述临床动机的耳膜特征对所述鼓膜的病理进行分类，所述计算机视觉特征和所述临床动机的耳膜特征通过双层堆叠泛化算法融合，所述双层堆叠泛化算法侧重于互补特征而非强特征。

2.根据权利要求1所述的方法，其中，对所述视频帧执行所述预处理以生成所述一个或多个复合图像的步骤包括以下中的一者或多者：减少基于传感器的问题，选择所述视频帧中的所述感兴趣区域，检测眩光效果；以及创建具有减少的眩光效果的所述视频帧的副本。

3.根据权利要求1或2所述的方法，其中，从所述一个或多个复合图像中提取所述计算机视觉特征包括：使用视觉MPEG-7描述符、梯度直方图和网格颜色矩特征中的一个或多个从所述一个或多个复合图像中提取颜色、纹理和形状信息。

4.根据权利要求1所述的方法，其中，所述临床动机的耳膜特征从所述一个或多个复合图像中识别异常和正常的一些线索。

5.根据权利要求1所述的方法，其中，所述临床动机的耳膜特征包括光锥的位置、锤骨的可见度、膜的突起、鼓膜造孔管的存在或蜡的存在。

6.根据权利要求1所述的方法，其中，所述双层堆叠泛化算法包括使用模糊堆叠泛化分类器。

7.根据权利要求1所述的方法，其中，使用所述一个或多个复合图像对所述鼓膜的病理进行分类包括：使用深度学习来自动识别异常。

8.根据权利要求7所述的方法，其中，所述深度学习包括深度学习网络，所述深度学习网络包括Inception V3或ResNet。

9.根据权利要求1所述的方法，其中，使用所述一个或多个复合图像对所述鼓膜的病理进行分类包括：使用基于内容的图像检索将所述一个或多个复合图像与图像库进行比较以识别异常。

10.根据权利要求7至9中任一项所述的方法，其中，所述异常包括急性中耳炎、中耳积液、胆脂瘤、耳膜穿孔和耳膜回缩与正常的一种或多种，其中，所述中耳积液是无感染的液体，并且所述胆脂瘤是耳中常见的破坏性皮肤囊肿。

11.根据权利要求1所述的方法，其中，从所述视频帧中选择的所述感兴趣区域无障碍物，使得生成的一个或多个复合图像不包括障碍物。

12.根据权利要求11所述的方法，其中，所述障碍物包括所述视频帧中的模糊、蜡、眩光和毛发中的一者或多者。

13.根据权利要求1所述的方法，其中，计算图像熵，并且选择具有最高熵值的视频帧，以生成所述一个或多个复合图像。