[发明专利]一种基于卷积神经网络的图像处理方法、装置及移动终端

说明书

本发明公开了一种基于卷积神经网络的图像处理方法、装置及移动终端，该方法适于在具有图形程序接口的移动终端中执行，其中，卷积神经网络包括多个处理层和多个数据层，该方法包括：将待处理图片作为第一个数据层输入到卷积神经网络；对每一个数据层，根据该数据层的最大像素值和最小像素值，将该数据层的多个特征图中各像素的值转换成纹理数据；根据特征图尺寸、纹理横向数量和纹理纵向数量，将转换成纹理数据后的多个特征图组合形成对应的大纹理进行存储；对每一个处理层，将与之相连的上一数据层对应的大纹理中的纹理数据转换成第一数据格式，调用图形程序接口对其进行与该处理层对应的渲染处理，以生成下一数据层中的多个特征图。

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于卷积神经网络的图像处理方法、装置及移动终端。

背景技术

随着卷积神经网络(CNN：Convolutional Neural Network)的快速发展，越来越多的图像处理手段，如分类、分割、风格转换、画质改善等，均采用CNN进行训练学习，以取得比传统处理方法更好的效果。然而，CNN在移动终端上的应用仍存在瓶颈，尤其是当CNN达到数百层时，需大量的浮点数乘法运算及大量的CPU内存申请，导致移动终端的计算效率和内存跟不上CNN的发展速度。

现有的在移动终端基于卷积神经网络处理图像的方法，是利用GPU和如OpenGL的图形程序接口来实现浮点运算的。虽然移动终端中使用OpenGL为图像的渲染操作带来了高效的GPU计算效率，在脚本渲染时能快速进行浮点数的计算，但其支持的数据存储却受限，且支持的操作有限。一方面，OpenGL的纹理支持的数据类型为无符号8位整型(uint8)，16位或32位浮点(float16，float32)等，但移动终端的GPU参差不齐，只有uint8能够满足大部分移动终端的GPU芯片。另一方面，OpenGL支持的纹理的大小也有限制，相对低端的GPU芯片，纹理的宽和高均限制在2048px的范围。因此，需要一种新的基于卷积神经网络的图像处理方案来优化上述过程。

发明内容

为此，本发明提供一种基于卷积神经网络的图像处理的技术方案，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种基于卷积神经网络的图像处理方法，适于在具有图形程序接口的移动终端中执行，卷积神经网络包括多个处理层和多个数据层，其中每个处理层用于处理与之相连的上一数据层中的多个特征图，以生成下一数据层中的多个特征图，移动终端中存储有各数据层对应于图形程序接口的存储参数，存储参数包括最大像素值和最小像素值、特征图尺寸、纹理横向数量和纹理纵向数量，该方法包括如下步骤：首先，将待处理图片作为第一个数据层输入到卷积神经网络；对每一个数据层，根据该数据层的最大像素值和最小像素值，将该数据层的多个特征图中各像素的值转换成纹理数据，像素的值满足第一数据格式，纹理数据满足第二数据格式；根据特征图尺寸、纹理横向数量和纹理纵向数量，将转换成纹理数据后的多个特征图组合形成对应的大纹理进行存储；对每一个处理层，将与之相连的上一数据层对应的大纹理中的纹理数据转换成第一数据格式，调用图形程序接口对其进行与该处理层对应的渲染处理，以生成下一数据层中的多个特征图。

可选地，在根据本发明的基于卷积神经网络的图像处理方法中，根据该数据层的最大像素值和最小像素值，将该数据层的多个特征图中各像素的值转换成纹理数据的步骤包括：根据该数据层的最大像素值和最小像素值，将该数据层的多个特征图中各像素的值归一化到第二数据格式对应的数值范围内；将归一化后的像素的值拆分成整数部分与小数部分，整数部分为归一化后的像素的值向下取整后的值，小数部分为归一化后的像素的值与整数部分的差值；将整数部分的数据类型转换成第二数据格式，将小数部分归一化到第二数据格式对应的数值范围内，以形成纹理数据。