[发明专利]用于多视角场景分析的系统和方法

说明书

相关专利申请的交叉引用

本专利申请要求2008年10月3日提交的美国临时专利申请No.61/102670的优先权。

相关专利申请

本专利申请还涉及2008年10月3日提交的美国临时专利申请No.61/102618和2008年10月3日提交的美国临时专利申请No.61/102625。

背景技术

人类视觉系统是容量有限的系统，因为其在任何特定时间只能处理较少数量的对象。尽管事实上在任何特定时间有许多对象可以观察到，但情况确实如此。人类视觉系统在任何特定时间将只注意或处理来自人类可见对象的阵列中的一个(或极少数)对象。当人观察图像或场景时，其视觉系统将让注意力(和心智处理)从一对象转移到另一对象。

在人类视觉注意领域已有大量的研究。该项研究已产生许多针对理解人类视觉注意行为的研究成果，以及许多视觉注意的计算模型。这些计算模型(有时称为视觉注意模型、眼球凝视预测模型、注意模型或显著性模型)在给定视觉刺激物(例如，图片或场景)下预测人将让其视觉注意或凝视分配在何处。

这些模型提供对场景内将吸引视觉注意的对象或区域的预测。然而，典型的真实世界场景常常是高度动态的。当(例如)人的有利位置改变、场景内的对象改变位置或定向、或者照明改变(投射不同阴影)时，投射到人的图像将随之改变。此外，观察者自身会将不确定性引入预测(观察者会心不在焉或者说是倾向于特定的注意模式)。从场景投射图像的任何变动或观察者的变动、或者甚至场景本身的微小改变都会显著地改变这些模型作出的预测。在将视觉注意模型用于应用装置时会由此而产生问题。

发明内容

将视觉注意建模技术用于从多个视角评估场景的系统和方法。在示例性实施例中，从一场景多幅图像获得(或者说是生成)多幅图像。在各幅图像中识别场景内的对象，然后使用视觉注意模型来分析场景。跟踪由视觉注意模型预测的对象，以便可以在一区域中从多个有利位置进行关于对象显著性的预测。在其他示例性实施例中，多视角场景分析可以和与优化场景有关的技术和系统结合。例如，可以定义对象的容许变化，然后获得或生成从不同有利位置选取的多幅图像，而后进行分析。这些图像可以包括对对象进行的改动。另外，在一些实施例中，稳健性(robustness)还可以被用作多视角场景分析中的一个因素。例如，可以分析3D场景并认为其具有稳健性(或计算所得的一个稳健性值)，或者可以确定3D场景内的一个对象具有稳健性。

在一个实施例中，描述了一种计算机实现的方法，其包括：接收从一个3D场景内取得的多幅图像；接收识别出现在该多幅图像中的对象中的至少一些的输入；用视觉注意模型分析该多幅图像；以及，基于该分析确定在多幅图像中的易于接收视觉注意的所识别的对象。除了具有从3D场景内取得的多幅图像以外，可以从一组通用对象的不同视角生成多幅图像。

在另一个实施例中，描述了一种计算机实现的方法，其包括：定义3D场景的至少一个视觉目标，场景由多个对象构成，视觉目标指示期望被视觉注意模型预测为被注意到的场景中的至少一个对象，并另外指示应当从其注意至少一个对象的视角。从3D场景内的多个视角接收多幅图像；接收定义场景内至少一些对象的容许变化的输入；将成本估计至少分配到容许变化的一些；自动修改与定义的容许变化相一致的多个对象中的一些，以便产生改动的图像；用视觉注意模型评估修改图像；以及，基于评估确定实现场景的至少一个视觉目标的修改场景的至少一些。

在另一个实施例中，描述了一个计算机系统，其包括：处理器和存储器；以及，多视角场景分析模块，其可操作用于至少：(1)接收从一个3D场景内选取的多幅图像；(2)识别显现在图像中的至少一些对象；(3)将视觉注意模块应用到图像，视觉注意模块可操作用于预测易于接收视觉注意的图像内的对象；以及，(4)确定所识别对象中的哪些被视觉注意模块预测。

附图说明

图1是示出代表性视觉注意模块的高级功能的流程图。

图2是代表性场景的草图。

图3A是视觉注意模块输出的艺术效果图。

图3B是视觉注意模块输出的艺术效果图。

图4是示出两个实例对象的特性的曲线图。

图5示出广告牌对象可以如何以不同背景场景为背景来设定。

图6是用于评估场景或场景内对象的稳健性的系统中功能模块的示意图。

图7是示出实例场景修改的具体说明。