[发明专利]基于视觉感知的自适应服装动画建模方法

摘要

本发明公开了一种基于视觉感知的自适应服装动画建模方法，其包括：步骤1：构建符合人眼特性的服装视觉显著模型，应用深度卷积神经网络学习并提取出服装动画每帧图像的不同层次抽象特征，并从这些特征和真实的眼动数据中深度学习出视觉显著模型；步骤2：服装分区域建模，基于步骤1已构建的视觉显著模型，预测服装动画图像的视觉显著图，提取出服装区域的关注度，对服装变形进行滤波，并结合摄像机视点运动信息以及物理变形信息，通过设置细节模拟因子对服装进行分区域建模；步骤3：构建视觉感知驱动的自适应服装模型并实现模拟，采用自适应多精度网格技术实现服装分区域建模，细节模拟因子高的区域进行高精度建模，细节模拟因子较低的区域则进行低精度建模，在此基础上进行动力学计算和碰撞检测，构建视觉逼真的服装动画系统。

主权项

1.一种基于视觉感知的自适应服装动画建模方法，其特征在于，所述方法包括以下步骤：步骤1：构建符合人眼特性的服装视觉显著模型，1.1 眼动数据采集和预处理采用遥测式眼动仪收集真实眼动数据，人位于屏幕前观看服装动画视频，眼动仪通过捕捉眼球的运动情况分析出人眼视线的运动轨迹和关注点，并由此产生每帧视频的焦点图和热度图；对多位试验者叠加的焦点图进行高斯卷积，得到连续平滑的“ground truth”显著图；1.2 运用深度学习方法构建视觉显著性模型运用卷积神经网络提取每帧图像的不同层次抽象特征，并从这些特征中训练出视觉显著模型，从而预测动画每帧图像的显著图,模型主要由三个部分组成；将一帧图像作为输入，运用卷积神经网络提取出底层、中层和高层特征；然后，通过特征权重网络训练出各个特征在视觉显著性预测中的影响权重，并产生临时的视觉显著图；最终，再与一个学习得到的先验显著图通SVM或softmax分类器得到最终的视觉显著性模型；(1)特征提取网络该网络架构是一个完全卷积神经网络，共有13层，其获取输入图像并产生特征图；通过VGG‑16架构，能够得到每帧图像在不同的神经网络层中的特征表示图；这些特征图在不同的抽象层次映射着图像信息，特征图在神经网络中的层次越高所代表的图像信息越抽象；(2)特征权重网络从特征提取网络中选取三层，得到三种不同特征空间的特征图；它们共享相同的空间大小并且连接形成一个多通道张量，随后将其输入到特征权重网络，其保留概率为0.5，以提高泛化能力；然后，卷积层使用3×3的卷积核学习64个显著的指定特征图；最后一个1×1的卷积层学习衡量每个特征图的重要性，从而产生临时的显著性预测图；最终，再与一个学习得到的先验显著图通过SVM或softmax分类器训练得到最终的视觉显著性预测图；(3)构建视觉显著性模型提取到图像特征后，作为输送到最后的特征权重神经网络用于计算，得到每块图像区域的显著度分数；在每幅图所对应的“ground truth”显著图中，按照显著性从最引人注意的前30％的显著位置中选若干个正样本，标记为1；同样从最不引人注意的后30％的区域里选若干个负样本，标记为‑1，以视频的每帧图像和其“ground truth”显著图中的正负样本构成训练样本，通过最小化均方预测误差训练得到最后的结果；1.3 通过交叉验证评价模型的准确性将特征数据集以及显著图集分割为两个子集，其中一个子集作为训练样本集，另外一个子集作为验证样本集；根据训练样本集学习深度神经网络；然后用测试集进行测试，比较预测值与真实样本值之间的误差，用以评价显著模型学习算法的准确性；步骤2：服装分区域建模，基于步骤1已构建的视觉显著模型，预测服装动画图像的视觉显著图，提取出服装区域的关注度，对服装变形进行滤波，并结合摄像机视点运动信息以及物理变形信息，通过设置细节模拟因子对服装进行分区域建模；利用其对服装变形进行滤波，使得高关注服装区域保持原有物理逼真的变形，而低关注服装区域变得更为平滑；在此基础上，结合摄像机视点位置和方向对服装区域进行分割，通过设置细节模拟因子控制不同区域的模拟细节程度，保证离视点较远的低关注遮挡区域尽可能平滑，而离视点近的未遮挡区域尽可能保持原有变形；步骤3：构建视觉感知驱动的自适应服装模型并实现模拟，采用自适应多精度网格技术实现服装分区域建模，细节模拟因子高的区域进行高精度建模，细节模拟因子较低的区域则进行低精度建模，在此基础上进行动力学计算和碰撞检测，构建视觉逼真的服装动画系统。