[发明专利]一种辅助儿童观察植物和学习生物多样性的绘画系统

权利要求书

1.一种辅助儿童观察植物和学习生物多样性的绘画系统，其特征在于，包括植物识别学习系统和儿童写生绘画系统；

所述的植物识别学习系统用于识别拍摄的植物照片，将植物名称和相关生物多样性知识呈现在显示界面的设定区域并通过语音播放；

所述的儿童写生绘画系统用于将拍摄的植物照片转化为轮廓图，并在儿童进行生物特征绘画时比对植物照片与绘图区域的色彩，在界面上进行信息反馈与展示；

所述的植物识别学习系统包括植物图像识别模块和植物知识检索模块；所述的儿童写生绘画系统包括植物轮廓图生成模块和智能辅助绘画模块；

所述的植物图像识别模块包含卷积神经网络，用于对拍摄的植物照片进行特征识别和分类；

所述的植物知识检索模块用于对植物图像识别模块识别的植物名称进行检索，得到相关的生物多样性百科知识，并利用知识图谱对植物知识库进行归纳；

所述的植物轮廓图生成模块包含生成对抗网络，用于提取植物照片的轮廓生成简笔画风格的轮廓图；

所述的智能辅助绘画模块用于比对植物图像和界面画布区域的颜色，利用机器视觉技术分析色彩偏差并输出偏差数据；

所述植物图像识别模块的构建过程如下：

步骤a1，收集不同植物图像的数据，构成植物图像数据集；

步骤a2，构建基于卷积神经网络的植物图像识别模型，所述的卷积神经网络采用Mobilenet-v3模型，并基于轻量化网络设计、模型剪枝和知识蒸馏减少模型计算量，并将输出层的模型架构调整为高斯混合模型和SoftMax逻辑回归模型；

步骤a3，利用植物图像数据集对卷积神经网络进行迁移学习，并采用数据增强方法避免训练过程过拟合。

2.根据权利要求1所述的辅助儿童观察植物和学习生物多样性的绘画系统，其特征在于，步骤a3中，采用数据增强方法包括：

对植物图像的大小进行随机缩放，扩充模型训练的数据集大小；

利用腐蚀算法对植物图像进行模糊处理，增加数据集的噪声从而提升模型训练的鲁棒性。

3.根据权利要求1所述的辅助儿童观察植物和学习生物多样性的绘画系统，其特征在于，所述植物知识检索模块的构建过程如下：

步骤b1，对植物图像识别模块中的植物图像数据进行百科数据收集，得到植物知识数据集；

步骤b2，构建基于植物知识数据集的知识图谱，根据谷歌的知识图谱接口建立每种植物的知识数据图谱；

步骤b3，建立基于知识图谱的检索系统，使用半监督社区发现算法对植物知识数据进行检索。

4.根据权利要求3所述的辅助儿童观察植物和学习生物多样性的绘画系统，其特征在于，步骤b3的具体过程为：

步骤b3-1，建立转移矩阵公式：

其中，d_ij是两个数据之间的欧几里得距离，σ是随机初始化后待更新的参数，e是自然对数；

步骤b3-2，对步骤b1中收集到的植物知识数据集进行分类处理：未标注的样本数据随机初始化；已标注的样本数据保留标签；

步骤b3-3，利用转移矩阵公式计算状态量；

步骤b3-4，利用状态量对转移矩阵进行更新并归一化处理；

步骤b3-5，重复进行步骤b3-3和步骤b3-4直到收敛。

5.根据权利要求1所述的辅助儿童观察植物和学习生物多样性的绘画系统，其特征在于，所述植物轮廓图生成模块的构建过程如下：

步骤c1，使用Amazon Mechanical Turk收集用户描绘的简笔画，数据库中包含多种不同类别的图片，每种类别选取5张，将得到的轮廓图简笔画图片组成轮廓图简笔画数据集；

步骤c2，构建基于生成对抗网络的轮廓图生成模型，优化生成对抗网络cGAN框架和根据轮廓图稀疏性的特征修改损失函数；

步骤c3，利用轮廓图简笔画数据集对生成对抗网络进行训练。