[发明专利]面向卷积神经网络的可视化交互学习方法、系统及设备

权利要求书

1.一种面向卷积神经网络的可视化交互学习方法，其特征在于，包括以下步骤：

步骤1：确定卷积神经网络的网络结构和用于训练所述卷积神经网络的训练数据集；

步骤2：根据所述训练数据集对所述卷积神经网络进行训练，获得训练好的卷积神经网络；

步骤3：将待识别图像进行规范化处理后，输入训练好的卷积神经网络进行模型预测；

步骤4：获取模型预测过程中的参数及中间结果，并保存到全局变量之中；

步骤5：根据预先设置的卷积神经网络的层级结构，将卷积神经网络模型正向传播的整体结构可视化地展示出来；

步骤6：根据预测过程中产生的中间结果，将每一层网络的具体处理及数学计算以动画的形式展示出来。

2.根据权利要求1所述的面向卷积神经网络的可视化交互学习方法，其特征在于：步骤3中所述将待识别图像进行规范化处理的方式是(255-p)/255，其中，p表示当前像素点的值。

3.根据权利要求1所述的面向卷积神经网络的可视化交互学习方法，其特征在于：步骤5中，将将输入图像经过卷积神经网络各层后的处理结果进行RGB颜色映射，将单通道的处理数据转化为RGB图像数据，并呈现出来；

其中，颜色映射方式为：

其中，R、G、B表示颜色映射后红、绿、蓝三个颜色通道对应的值，maxp表示当前图像中最大像素值的绝对值p表示当前像素点的值。

4.根据权利要求1-3任意一项所述的面向卷积神经网络的可视化交互学习方法，其特征在于，步骤6的具体实现包括以下子步骤：

步骤6.1：计算前端数据可视化工具Echarts中屏幕画布大小并对整个画布按照网络结构进行布局、定坐标；

步骤6.2：确定的位置坐标，在画布中添加image元素，将卷积神经网络前四层的输出特征图显示在对应位置；

步骤6.3：以Echarts graphic中rect元素的形式对扁平层的每个神经元进行可视化，颜色与源像素相同；

步骤6.4：卷积神经网络模型网络的连线绘制；

在输入的待识别图像与卷积层conv1之间、池化层pooling1和卷积层conv2之间添加Echarts graphic中的bezierCurve元素，绘制贝塞尔曲线；在其他层级之间添加Echartsgraphic中的line元素，绘制直线；

步骤6.5：添加交互效果；

输出特征图添加悬浮触发事件，通过高亮效果展示当前层级中该输出图的输入图像；输出特征图添加点击触发事件，以模态框的形式展示各层级的具体操作细节；

步骤6.6：根据预测过程中产生的中间结果，将每一层网络的具体处理及数学计算以动画的形式展示出来。

5.一种面向卷积神经网络的可视化交互学习系统，其特征在于，包括以下模块：

模块1，用于确定卷积神经网络的网络结构和用于训练所述卷积神经网络的训练数据集；

模块2，用于根据所述训练数据集对所述卷积神经网络进行训练，获得训练好的卷积神经网络；

模块3，用于将待识别图像进行规范化处理后，输入训练好的卷积神经网络进行模型预测；

模块4，用于获取模型预测过程中的参数及中间结果，并保存到全局变量之中；

模块5，用于根据预先设置的卷积神经网络的层级结构，将卷积神经网络模型正向传播的整体结构可视化地展示出来；

模块6，用于根据预测过程中产生的中间结果，将每一层网络的具体处理及数学计算以动画的形式展示出来。

6.根据权利要求5所述的面向卷积神经网络的可视化交互学习系统，其特征在于：模块3中所述将待识别图像进行规范化处理的方式是(255-p)/255，其中，p表示当前像素点的值。