[发明专利]基于卷积神经网络与支持向量机的手写数字识别方法

摘要

本发明公开了一种基于卷积神经网络和支持向量机的手写数字识别方法，用卷积神经网络与支持向量机组合提高了手写数字识别准确率。具体包括扩充手写数字图片训练集；进行归一化操作；搭建两个卷积神经网络；训练两个卷积神经网络；搭建支持向量机；保留两个卷积神经网络全连接层前边的卷积层和池化层交替部分，将两个卷积神经网络的全连接层串接并与支持向量机连接得到组合网络；训练组合网络；对手写数字图片测试集测试得到手写数字识别结果，准确率达99.60％。本发明无需复杂预处理，具有好的自适应性和稳定性，不仅识别准确率较高，且在可靠性和鲁棒性上有提升，用于金融、邮递、数据统计等场合的手写数字识别。

主权项

一种基于卷积神经网络和支持向量机的手写数字识别方法，其特征在于，包括如下步骤：(1):扩充手写数字图片训练集，原始的手写数字图片包括两部分，一部分标记为测试集，一部分标记为训练集，将训练集中手写数字图片进行平移扩充处理，增加训练集中图片的数量；训练集的平移扩充处理指通过批处理操作，将训练集中每张图片分别进行上下左右平移操作，平移大小均为一个像素；(2):对扩充的训练集进行归一化预处理操作；归一化操作指将扩充后的每张训练集图片的像素值由0到255批处理操作，归一化到0到1，得到归一化后的训练集图像；(3):分别搭建两个卷积神经网络，两个卷积神经网络全连接层的前边部分为卷积层与池化层交替连接，第一个卷积神经网络的最后一个池化层连接的全连接层神经元个数为L个，第二个卷积神经网络的最后一个池化层连接的全连接层神经元个数为N个，两个卷积神经网络的最后一层均为softmax层，设置两个卷积神经网络的相关超参数；(4):设定两个卷积神经网络的迭代次数；(5):训练搭建好的两个卷积神经网络，将预处理好的训练集分别送入到两个卷积神经网络中进行训练；在卷积神经网络的训练过程中，采用反向传播算法(BP算法)对卷积神经网络的连接权值和偏置进行更新，BP算法包括信息的正向传播和误差的反向传播两个过程；同时，为了防止过拟合，全连接层采用dropout方法按照一定的概率丢弃全连接层的神经元；(6):判断是否达到迭代次数，连接权值和偏置更新过程中，对迭代次数实时进行判断，如果达到设置的迭代次数则卷积神经网络训练完成，执行步骤7；未达到迭代次数，则返回步骤5继续训练，直至训练完成；(7):搭建一个用于分类的支持向量机模型，并初始化支持向量机的参数；(8):将两个卷积神经网络与搭建好的支持向量机模型进行组合得到一个组合网络；组合是保留两个卷积神经网络全连接层前边的卷积层和池化层交替连接的部分，将第一和第二卷积神网络中保留的部分分别记为A和B，去掉两个卷积神经网络全连接层后边softmax层，将第一、第二两个卷积神经网络中的全连接层依次串接形成组合网络的全连接层，将这个全连接层记为C，全连接层C分别与第一卷积神网络中保留的部分A和第二卷积神网络中保留的部分B的连接关系不变，全连接层C与支持向量机连接，得到一个完整的组合网络；在这个组合网络中将手写数字图片分别送入到第一卷积神网络中保留的部分A和第二卷积神网络中保留的部分B中作为组合网络的输入，全连接层C的输出送入到支持向量机中，支持向量机的输出作为组合网络的输出；(9):训练组合网络；由于两个卷积神经网络之前已经训练结束，所以训练组合网络实际上就是训练支持向量机；在组合网络中，手写数字图片的训练集作为组合网络的输入，C的输出作为支持向量机的训练样本来训练支持向量机，在训练样本空间中找到一个最优划分超平面，将不同类别的训练样本分开；(10):判断组合网络是否训练结束，如果组合网络找到了最优的划分超平面则组合网络训练结束；未找到最优的划分超平面，则返回步骤9，继续训练；(11):对手写数字图片测试集进行测试，将手写数字图片测试集送入到组合网络中，进行评估，得出的评估结果，完成基于卷积神经网络和支持向量机的手写数字识别。