[发明专利]一种儿童积木搭建辅助方法及系统

说明书

本发明公开了一种儿童积木搭建辅助方法及系统，该方法包括如下步骤：S1、构建图像识别神经网络模型，深度学习模型采用卷积神经网络CNN，构建一个串并联结合的卷积神经网络；S2、利用神经网络模型对积木成品搭建步骤进行训练，得到训练模型，用于积木成品搭建辅助，训练完成后输出该模型和对应的分类标签；S3、拍摄一张积木的图片，输入已经训练好的模型，模型根据学习结果，经过运算，输出的标签名即是接下来应该对积木的操作。本发明将性能要求高的基于神经网络的图形特征模型训练系统与性能要求不高的图像识别装置分开，使得在用户层面，识别装置可以做到轻量化、简单易学、成本低、可移动性强等优点。

技术领域

本发明涉及智慧教育技术领域，具体涉及一种基于机器视觉和深度学习的儿童积木搭建辅助方法及系统。

背景技术

在儿童成长的过程中，玩具对儿童思维的训练作用不可忽略，搭积木是一种具有创造性的玩具，对儿童启蒙时期的思维训练非常有好处，因此，有必要发明一套可以指导和辅助儿童搭建积木的系统，使儿童在系统的指导下，锻炼自己的空间思维能力和动手能力，逐步形成三维空间感。现有的基于物体的检测算法普遍使用过程复杂，对三维空间物体的识别稳定度不高。

发明内容

有鉴于此，为了解决现有技术中的上述问题，本发明提出一种儿童积木搭建辅助方法及系统，通过搭建图形训练神经网络，对搭建积木的每一步骤分类，作为源数据输入并建立对应的标签，对分类下的图片进行深度学习，完成图形识别分类训练，当儿童搭建积木时，按下按钮，摄像头对当前积木的形态进行拍摄和检测，通过神经网络的深度学习结果进行读取运算，显示器输出进行下一步操作的步骤，最终辅助儿童搭建出一套完整的积木模型。

本发明通过以下技术手段解决上述问题：

一方面，本发明提供一种儿童积木搭建辅助方法，包括如下步骤：

S1、构建图像识别神经网络模型，深度学习模型采用卷积神经网络CNN，构建一个串并联结合的卷积神经网络；

S2、利用神经网络模型对积木成品搭建步骤进行训练，得到训练模型，用于积木成品搭建辅助，训练完成后输出该模型和对应的分类标签；

S3、拍摄一张积木的图片，输入已经训练好的模型，模型根据学习结果，经过运算，输出的标签名即是接下来应该对积木的操作。

进一步地，步骤S1中，神经网络模型的整个网络包含95个卷积层、12个池化层、9个连接层、1个全连接层，输入采用五个卷积层和两个池化层串联，最后采用全连接神经网络作为分类器。

进一步地，S2具体包括如下步骤：

a、积木搭建步骤拆解：用积木搭建一个完整的形状，在搭建的过程中，每一步骤增加一块积木，并对每一步骤的积木形状进行360度范围的拍照记录作为源数据；

b、源数据分类：将搭建积木的每一步骤作为一个类，类中的数据为该步骤对应的积木形状图片，每搭建一步，拍摄当前积木图片若干张，并且每一类的标签为该类所对应步骤的下一步骤的文字说明；

c、图像信息数字化：将所有类下的每一张图片中的图像信息转换成数字矩阵，作为神经网络的输入，输出分类器的节点即类的标签；

d、模型训练：将转换图像信息后的类输入神经网络模型，输出分类器设置为各类的标签，进行若干次迭代深度训练，对分类下的图片进行深度学习；

e、输出训练模型，对积木成品搭建步骤进行训练，得到训练模型，用于积木成品搭建辅助，训练完成后输出该模型和对应的分类标签。

进一步地，步骤b中，每搭建一步，拍摄当前积木图片至少1000张；

步骤c中，所述数字矩阵为1×2048的数字矩阵；

步骤d中，进行至少1000000万次迭代深度训练，对分类下的图片进行深度学习。