[发明专利]一种基于迁移学习的绘画情感预测方法

说明书

本发明属于图像情感计算技术领域，一种基于迁移学习的绘画情感预测方法，解决绘画情感的自动预测。具体为：将绘画图像由RGB颜色空间转换成HSV模型，保留对绘画情感影响较大的H和S分量作为颜色特征图像。采用局部二值模式提取局部纹理特征。在AlexNet网络上采用迁移学习的方法，保留原始网络中全部卷积、池化和一个全连接的部分，并新增了5个全连接层。在对新模型进行参数微调时，将模型的前5层卷积层和第6层全连接层的网络参数作为目标模型的参数，新增全连接层(7‑11层)的参数采用随机初始化。将颜色分量H、S和LBP纹理图像分别进行归一化到[0,1]之间，作为绘画图像新的三个通道，并输入到迁移学习神经网络中。

技术领域

本发明属于图像情感计算技术领域，具体涉及一种基于迁移学习的绘画情感预测方法。

背景技术

随着数字化技术和计算机视觉的发展，更多的研究者开始探索数字化绘画图像的情感。在心理学领域中，类别情感状态CES(categorical emotion states)把情感分为两大类，即表示积极的情感(激动、娱乐、满意、敬畏)和表示消极的情感(害怕、厌恶、悲伤、生气)。绘画作品是画家表达内心情感的重要表现手段。因此对绘画的情感研究是十分必要的，更也有助于我们更好的体会作画家的内心世界。

随着信息数字化的趋势，在网上可以很容易地找到绘画的数字图像。这使得计算机辅助绘画研究成为可能。人们通过直接探讨人的审美感知与计算视觉特征之间的关系，对绘画图像情感进行研究。目前研究中，绘画图像情感预测主要由两种方式：(1)提取与情感相关的底层特征，采用机器学习的方法实现情感预测；(2)采用深度学习的方法直接在原始图像的基础上进行情感预测。

与现有绘画情感识别的方法相比，本发明的优势在于：本发明提出的方法：(1)将绘画图像由RGB颜色空间转换成HSV模型(色调(H)，饱和度(S)，亮度(V))。在后面的运算中仅保留了对绘画情感影响较大的H和S分量作为颜色特征图像。(2)在现有AlexNet网络的基础上采用迁移学习的方法，保留原始网络中全部卷积、池化和一个全连接的部分，并新增了5个全连接层。在对新模型进行参数微调时，将模型的前5层卷积层和第6层全连接层的网络参数作为目标模型的参数，新增全连接层(7-11层)的参数采用随机初始化。该网络提高了计算准确率，同时也大大降低了计算量。(3)将颜色分量H、S和LBP纹理图像分别进行归一化到[0,1]之间，作为绘画图像新的三个通道，并输入到迁移学习神经网络中。既能更好的保留绘画的颜色和纹理特征，又能有效提高整个绘画情感预测系统的运算效率。

发明内容

本发明克服现有技术存在的不足，提供一种基于迁移学习的绘画情感预测方法。解决绘画图像的情感自动预测。

为了达到上述目的，本发明采用了下列技术方案：

一种基于迁移学习的绘画情感预测方法，包括以下具体步骤：

(1)将所有绘画图像调整为227×227大小；

(2)将绘画图像由RGB颜色空间转换成HSV模型(色调(H)，饱和度(S)，亮度(V))，在HSV模型中，绘画与摄影图片相比，明度(V)的比重很小，因此将颜色分量H和S作为绘画图像的颜色特征图像；

(3)采用局部二值模式将绘画图像转换成LBP纹理图像，具体步骤如下：

a、给定邻域半径R＝1，采用圆形LBP算子计算，得到邻域像素个数P＝8；

b、把3*3窗口中心像素的灰度值作为阈值，将该灰度值与其8个邻域像素的灰度值进行比较，若邻域像素的灰度值大于或等于中心像素的灰度值，则将邻域像素的灰度值置1，反之置0，计算公式如下：

每个像素的LBP_P，R计算如下: