[发明专利]拾音装置、拾音方法以及程序

说明书

拾音装置是用于对从成为音源的物体输出的目的音进行拾音的装置，包含控制部，其基于摄像机的图像数据来生成表示物体的位置的物体位置信息，基于麦克风阵列的音响信号来生成表示音源的位置的音源位置信息，对物体位置信息设定与摄像机的拍摄状况相应的权重，基于物体位置信息、物体位置信息的权重和音源位置信息来决定对目的音进行拾音的方向。

技术领域

本公开涉及对目的音进行拾音的拾音装置、拾音方法以及程序。

背景技术

专利文献1公开了用于从记录有一人以上的参加者的谈话的数据中推定是哪个参加者在什么时候发声的推定装置。该推定装置通过将从由麦克风输出的音响信号得到的信息、和从由摄像机输出的影像信号得到的信息进行综合，来算出谈话参加者发声的概率。由此，即使是谈话参加者在没有发声的状况下进行了移动的情况，也能追踪谈话参加者的位置。

现有技术文献

专利文献

专利文献1：JP特许第5215826号公报

发明内容

本公开提供使目的音的拾音精度得以提升的拾音装置、拾音方法、以及程序。

本公开的一个方案的拾音装置用于对从成为音源的物体输出的目的音进行拾音，该拾音装置具有第1输入部、第2输入部和控制部。第1输入部接受由摄像机生成的图像数据的输入。第2输入部接受从麦克风阵列输出的音响信号的输入。控制部决定对目的音进行拾音的方向。控制部包含检测部、推定部、加权部和决定部。检测部基于图像数据来检测物体在水平方向或垂直方向中至少任意一个方向上的位置，输出表示检测出的物体的位置的信息即物体位置信息。推定部基于音响信号来推定音源在水平方向或垂直方向中至少任意一个方向上的位置，输出表示推定出的音源的位置的信息即音源位置信息。加权部对应于摄像机的拍摄状况来设定物体位置信息的权重。决定部基于物体位置信息、物体位置信息的权重和音源位置信息来决定对目的音进行拾音的方向。

这些概括性且特定的方案可以通过系统、方法以及计算机程序和它们的组合来实现。

根据本公开的拾音装置、拾音方法以及程序，由于对应于摄像机的拍摄状况以及麦克风阵列的音接收状况来决定拾音方向，因此目的音的拾音精度得到提升。

附图说明

图1是表示第1实施方式的拾音装置的结构的框图。

图2是表示第1实施方式的控制部的功能的框图。

图3A是用于说明仅使用麦克风阵列的情况下的拾音方向的图。

图3B是用于说明使用麦克风阵列和摄像机的情况下的拾音方向的图。

图4是表示第1实施方式中的拾音方法的流程图。

图5是用于说明脸位置的检测单位的区域的图。

图6是用于说明脸的识别的图。

图7是用于说明脸的概率的图。

图8是表示图像准确度的判定的流程图。

图9是用于说明音源位置的推定的图。

图10是用于说明音源的概率的图。

图11是表示音响准确度的判定的流程图。

图12是表示图像准确度和音响准确度的权重的图。

图13A是表示脸的概率的一例的图。

图13B是表示音源的概率的一例的图。

图13C是表示根据图13A和图13B算出的拾音方向的图。

图14A是表示脸的概率的其他示例的图。