[发明专利]一种基于迁移学习的手势分类方法

说明书

本发明公开了一种基于迁移学习的手势分类方法，适用于手势图像分类问题。本发明步骤一、将手势视频V转换为手势帧数据集合G0；步骤二、通过高斯滤波方法、OTSU算法和图像与运算对G0分别进行去除噪声、二值化和背景分割处理，得到手势帧数据集合G1，为G1设置标签后得到帧标签数据集合L；步骤三、使用MobileNet卷积神经网络架构和权重文件进行迁移学习，创建与训练模型M1；步骤四、通过模型M1提取帧数据集合G1的特征，得到帧特征向量集合F0；步骤五、将XGBoost作为分类模型对测试集进行分类，得到最终分类结果。本发明将已经训练好的MobileNet卷积神经网络权重迁移至手势图像数据集进行特征提取，采用XGBoost作为分类模型，提升分类精确度的同时减少模型计算量。

技术领域

本发明属于监督算法和图像识别技术领域，特别涉及一种基于迁移学习的手势分类方法。

背景技术

在面向手势分类的问题时，最近的文献有的只使用单一模型对图像进行自主学习特征并分类，例如：张江鑫，吴晓凤，徐欣晨.一种基于Faster R-CNN的手势检测和识别方法.中国专利公开号:CN107239731A,2017.10.10；程树英，林培杰，卢箫扬.一种基于XGBoost的静态手语识别系统.中国专利公开号:CN109086699A,2018.12.25；王威，邹婷，王新.一种基于D-MobileNet神经网络图像分类方法.中国专利公开号:CN 109214406A,2019.01.15。这类方法训练时需要消耗大量的时间。有的文献提出将提取特征和分类进行分段处理的改进方法，例如：丁世飞，侯艳路，张楠.一种基于卷积神经网络和随机森林的手写体数字识别方法.中国专利公开号:CN106991374A,2017.07.28。这类方法中CNN是自定义的网络架构，卷积深度不够，特征提取准确度较低。

金鹰，朱全银，胡荣林等人已有的研究基础包括：顾相平,金鹰.水下无线传感器网络信道研究[J].计算机与现代化,2011(10):120-122+125.；朱松豪，刘佳伟，罗青青，胡荣林.基于关联模型的图像分割[A].东北大学、IEEE新加坡工业电子分会、IEEE哈尔滨控制系统分会.第26届中国控制与决策会议论文集[C].东北大学、IEEE新加坡工业电子分会、IEEE哈尔滨控制系统分会:《控制与决策》编辑部,2014:5.；朱松豪，刘佳伟，胡荣林.一种图像分类的新方法[A].东北大学、IEEE新加坡工业电子分会、IEEE哈尔滨控制系统分会.第26届中国控制与决策会议论文集[C].东北大学、IEEE新加坡工业电子分会、IEEE哈尔滨控制系统分会:《控制与决策》编辑部,2014:6.；李翔,朱全银.联合聚类和评分矩阵共享的协同过滤推荐[J].计算机科学与探索,2014,8(6):751-759；Quanyin Zhu,Sunqun Cao.A NovelClassifier-independent Feature Selection Algorithm for ImbalancedDatasets.2009,p:77-82；Quanyin Zhu,Yunyang Yan,Jin Ding,Jin Qian.The CaseStudy for Price Extracting of Mobile Phone Sell Online.2011,p:282-285；QuanyinZhu,Suqun Cao,Pei Zhou,Yunyang Yan,Hong Zhou.Integrated Price Forecast basedon Dichotomy Backfilling and Disturbance Factor Algorithm.InternationalReview on Computers and Software,2011,Vol.6(6):1089-1093；朱全银，胡荣林等人申请、公开与授权的相关专利：朱全银，刘涛，严云洋，高尚兵等.一种基于OpenCV的建筑图纸标签信息检测方法.中国专利公开号:CN109002824A,2018.12.14；朱全银，许康，宗慧，冯万利等.一种基于Faster-RCNN模型的建筑构件提取方法.中国专利公开号:CN109002841A,2018.12.14；朱全银，于柿民，胡荣林，冯万利等.一种基于知识图谱的专家组合推荐方法.中国专利公开号:CN109062961A,2018.12.21；李翔，朱全银，胡荣林，周泓.一种基于谱聚类的冷链物流配载智能推荐方法.中国专利公开号:CN105654267A,2016.06.08。