[发明专利]计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法

说明书

技术领域

本发明涉及计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法。

背景技术

为了获知人的感情或状态，有时会估计表情发生变化的面部形状。例如，在驾驶车辆中产生了睡意时，驾驶员的面部往往会产生皱眉、伴随深呼吸而撅起嘴唇、鼓起脸颊这样的表情变化。因此，这些表情变化成为用于检查驾驶员的睡意的指标。

在以往使用的面部形状估计方法中，为了提高面部形状的估计精度，设置“眼、鼻或嘴等面部部位处于无表情时的标准形状和位置”的限制，从而估计面部形状。但是，在该面部形状估计方法中，由于设置了该限制，因此无法检测脱离标准形状并发生了上述表情变化的面部。此外，在此，“表情变化”指的是面部处于不是无表情的状态。

与此不同，在非专利文献1所公开的技术(以下称为现有技术1)中，预先学习产生了表情变化的面部的图像，从而检测表情变化时的面部部位的形状和位置。另外，在专利文献1(以下称为现有技术2)所公开的技术中，对面部部位的三维位置进行测距，根据面部部位的三维位置估计面部的立体形状。由此，在非专利文献1或专利文献1所公开的技术中，能够检测发生了上述表情变化的面部。

现有技术文献

专利文献

专利文献1：日本特开2005-182247号公报

非专利文献

非专利文献1：Paul Viola and Michael J.Jones，”Rapid Object Detection using a Boosted Cascade of Simple Features″，IEEE CVPR，2001

发明内容

发明要解决的问题

但是，在现有技术1中，用于学习的图像为二维信息，因此无法应对面部部位的形状在二维上(平面上)没有变化、但在三维上(立体上)发生变化时的表情变化。例如，在现有技术1中，无法对应于撅起嘴唇、鼓起脸颊等表情变化。

另外，在现有技术2中，为了检测表情变化(估计面部的立体形状)，需要对面部整体的三维位置进行测距，面部形状估计的计算处理量变得庞大。因此，在现有技术2中，难以实时地检测产生了表情变化的面部。

本发明的目的在于，提供计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法，其能够以高精度和低计算量估计难以仅用二维图像检测的、产生了立体的表情变化的面部形状。

解决问题的方案

本发明的一个方案的计测对象提取装置，提取多个面部形状候选中的、成为利用距离传感器的三维形状的计测对象的候选，采用的结构包括：面部纹理评价值计算单元，对于所述多个面部形状候选的每个面部形状候选，计算表示输入的面部图像与所述面部形状候选的纹理的重合度的面部纹理评价值；似然计算单元，对于所述多个面部形状候选的每个面部形状候选，计算成为基准的面部形状的三维坐标与所述面部形状候选的三维坐标之间的第一似然；相关评价单元，对于所述多个面部形状候选的每个面部形状候选，计算表示所述面部纹理评价值与所述第一似然之间的相关的强度的第一相关评价值；提取单元，提取所述多个面部形状候选中的所述第一相关评价值小于第一阈值的面部形状候选作为所述计测对象；以及三维形状计测单元，使用所述距离传感器对基于所述输入的面部图像和由所述提取单元提取的面部形状候选所设定的规定区域的三维形状进行计测。

本发明的一个方案的面部形状估计装置采用的结构包括：所述计测对象提取装置；所述三维形状计测单元，对在所述计测对象提取装置中作为所述计测对象提取出的面部形状候选的三维形状进行计测；形状候选评价单元，对于所述多个面部形状候选的每个面部形状候选，基于所述面部纹理评价值和所述第一似然，计算第一形状候选评价值；再评价单元，对于所述提取出的面部形状候选的每个面部形状候选，使用所述三维形状计算第二形状候选评价值；以及确定单元，基于所述第一形状候选评价值和所述第二形状候选评价值，从所述多个面部形状候选中确定对所述面部图像的估计形状。