[发明专利]一种基于多尺度字典的立体图像视觉舒适度评价方法

摘要

本发明公开了一种基于多尺度字典的立体图像视觉舒适度评价方法，其在训练阶段，通过选取不同舒适度等级各多幅立体图像构成初始训练图像集，并通过计算初始训练图像集中的每幅立体图像的视差统计特征矢量和神经响应特征矢量，来获得多尺度字典和对应的多尺度质量表，这样就建立了特征矢量与质量之间的关系模型，从而只需要通过简单的映射就能直接预测图像质量；在测试阶段，计算测试立体图像的特征矢量，并根据多尺度字典和多尺度质量表，预测得到对应于不同舒适度等级的舒适度评价预测值，并结合对应于不同舒适度等级的舒适度评价预测值得到最终的视觉舒适度客观评价预测值，与主观评价值保持了较好的一致性，即与主观感知之间的相关性高。

主权项

一种基于多尺度字典的立体图像视觉舒适度评价方法，其特征在于包括训练阶段和测试阶段两个过程；在训练阶段中，选取五个不同舒适度等级的多幅立体图像，构成初始训练图像集；然后通过获取初始训练图像集中的每幅立体图像的视差统计特征矢量和神经响应特征矢量，得到初始训练图像集中的每幅立体图像的用于反映视觉舒适度的特征矢量；接着根据初始训练图像集中的所有立体图像的用于反映视觉舒适度的特征矢量构造多尺度字典，并确定多尺度字典对应的多尺度质量表；在测试阶段中，对于任意一幅测试立体图像，以相同的方式获得测试立体图像的用于反映视觉舒适度的特征矢量；然后根据在训练阶段构造的多尺度字典，计算测试立体图像的用于反映视觉舒适度的特征矢量的稀疏系数矩阵，进而确定测试立体图像的用于反映视觉舒适度的特征矢量对应于多尺度字典的不同舒适度等级的稀疏系数矩阵；接着根据在训练阶段确定的多尺度质量表和对应于多尺度字典的不同舒适度等级的稀疏系数矩阵，计算测试立体图像对应于不同舒适度等级的舒适度评价预测值；最后结合测试立体图像对应于不同舒适度等级的舒适度评价预测值，获得测试立体图像的视觉舒适度客观评价预测值；所述的训练阶段具体包括以下步骤：①_1、选取五个不同舒适度等级各幅宽度为W且高度为H的立体图像，将选取的共M幅立体图像构成初始训练图像集，记为{Si|1≤i≤M}，其中，M>5且M为5的整数倍，Si表示{Si|1≤i≤M}中的第i幅立体图像；①_2、获取{Si|1≤i≤M}中的每幅立体图像的视差统计特征矢量，将Si的视差统计特征矢量记为其中，的维数为1×5，此处符号“[]”为矢量表示符号，fi1、fi2、fi3、fi4和fi5对应表示Si的左视点图像与右视点图像之间的视差图像{di(x,y)}的平均最大视差、平均最小视差、视差对比度、视差散度和视差偏度，di(x,y)表示{di(x,y)}中坐标位置为(x,y)的像素点的像素值，1≤x≤W，1≤y≤H；①_3、获取{Si|1≤i≤M}中的每幅立体图像的神经响应特征矢量，将Si的神经响应特征矢量记为其中，的维数为1×13，此处符号“[]”为矢量表示符号，1≤j≤13，ri1,ri2,…,rij,…,ri13对应为中的第1个元素、第2个元素、…、第j个元素、…、第13个元素，符号“| |”为取绝对值符号，表示Si中的第j个神经元在所有视差区间的响应构成的向量经最大池化后得到的特征矢量；①_4、将{Si|1≤i≤M}中的每幅立体图像的视差统计特征矢量和神经响应特征矢量组合成一个新的矢量作为对应的立体图像的用于反映视觉舒适度的特征矢量，将Si的用于反映视觉舒适度的特征矢量记为Di，其中，Di的维数为1×18，此处符号“[]”为矢量表示符号，表示将和连接起来形成一个新的矢量；①_5、根据{Si|1≤i≤M}中的所有立体图像的用于反映视觉舒适度的特征矢量构造多尺度字典，记为D，并确定D对应的多尺度质量表，记为q，其中，D1,1表示{Si|1≤i≤M}中属于第1个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第1个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D2,1表示{Si|1≤i≤M}中属于第2个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第2个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D3,1表示{Si|1≤i≤M}中属于第3个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第3个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D4,1表示{Si|1≤i≤M}中属于第4个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第4个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D5,1表示{Si|1≤i≤M}中属于第5个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第5个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，q1,1表示{Si|1≤i≤M}中属于第1个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第1个舒适度等级的第幅立体图像的平均主观评分均值，q2,1表示{Si|1≤i≤M}中属于第2个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第2个舒适度等级的第幅立体图像的平均主观评分均值，q3,1表示{Si|1≤i≤M}中属于第3个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第3个舒适度等级的第幅立体图像的平均主观评分均值，q4,1表示{Si|1≤i≤M}中属于第4个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第4个舒适度等级的第幅立体图像的平均主观评分均值，q5,1表示{Si|1≤i≤M}中属于第5个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第5个舒适度等级的第幅立体图像的平均主观评分均值；所述的测试阶段具体包括以下步骤：②_1、对于任意一幅测试立体图像Stest，按照步骤①_2至步骤①_4的过程，以相同的操作获取Stest的用于反映视觉舒适度的特征矢量，记为Gt，其中，Gt的维数为1×18；②_2、根据在训练阶段构造的多尺度字典D，计算Gt的稀疏系数矩阵，记为是通过求解得到的，满足条件：其中，α1,1表示Gt对应于多尺度字典D的第1个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第1个舒适度等级的第幅立体图像的稀疏系数，α2,1表示Gt对应于多尺度字典D的第2个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第2个舒适度等级的第幅立体图像的稀疏系数，α3,1表示Gt对应于多尺度字典D的第3个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第3个舒适度等级的第幅立体图像的稀疏系数，α4,1表示Gt对应于多尺度字典D的第4个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第4个舒适度等级的第幅立体图像的稀疏系数，α5,1表示Gt对应于多尺度字典D的第5个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第5个舒适度等级的第幅立体图像的稀疏系数，符号“|| ||2”为求取矩阵的2‑范数符号，ε为误差阈值，min{}为取最小值函数；②_3、根据确定Gt对应于多尺度字典D的不同舒适度等级的稀疏系数矩阵，将Gt对应于多尺度字典D的第1个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第2个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第3个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第4个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第5个舒适度等级的稀疏系数矩阵记为δ2(g^t)=[0,...,0,α2,1,...,α2,M5,0,...,0,0,...,0,0,...,0],]]>δ3(g^t)=[0,...,0,0,...,0,α3,1,...,α3,M5,0,...,0,0,...,0],]]>δ4(g^t)=[0,...,0,0,...,0,0,...,0,α4,1,...,α4,M5,0,...,0],]]>δ5(g^t)=[0,...,0,0,...,0,0,...,0,0,...,0,α5,1,...,α5,M5];]]>②_4、计算Stest对应于不同舒适度等级的舒适度评价预测值，将Stest对应于第n个舒适度等级的舒适度评价预测值记为Qn，其中，1≤n≤5，符号“< >”为求内积操作符号，q为在训练阶段确定的多尺度质量表，符号“|| ||1”为求取矩阵的1‑范数符号；②_5、通过对Stest对应于不同舒适度等级的舒适度评价预测值进行结合，获得Stest的视觉舒适度客观评价预测值，记为Qt，其中，