[发明专利]信息处理设备、信息处理方法和程序

权利要求书

1.一种信息处理设备，包括：

基于音频的语音识别处理单元，输入有作为真实空间的观察信息的音频信息，所述基于音频的语音识别处理单元执行基于音频的语音识别处理，从而生成被确定有高概率是被说出的字信息；

基于图像的语音识别处理单元，输入有作为所述真实空间的观察信息的图像信息，所述基于图像的语音识别处理单元分析包含在所述输入图像中的每个用户的嘴部运动，从而生成以用户为单位的嘴部运动信息；

音频图像结合的语音识别得分计算单元，从所述基于音频的语音识别处理单元输入有字信息，并且从所述基于图像的语音识别处理单元输入有所述以用户为单位的嘴部运动信息，所述音频图像结合的语音识别得分计算单元执行对接近所述字信息的嘴部运动设置高得分的得分设置处理，从而执行以用户为单位的得分设置处理；以及

信息整合处理单元，输入有所述得分，并且基于所输入的得分执行说话者指定处理。

2.如权利要求1所述的信息处理设备，其中，

所述基于音频的语音识别处理单元执行作为基于音频的语音识别处理的音频语音识别ASR，以生成被确定有高概率是被说出的字信息的音素序列以作为音频语音识别信息，

所述基于图像的语音识别处理单元执行作为基于图像的语音识别处理的视觉语音识别VSR，以生成至少包含指示字语音时段中嘴部形状的视素信息的视觉语音识别信息，以及

所述音频图像结合的语音识别得分计算单元以构成所述音频语音识别信息中包含的字信息的音素为单位，将所述视觉语音识别信息中包含的以用户为单位的视素信息与注册视素信息相比较，以执行为具有高相似性的视素设置高得分的视素得分设置处理，并且通过与进一步构成字的所有音素相对应的视素得分的算术平均值或几何平均值的计算处理来计算作为与用户相对应的得分的音频视觉语音识别AVSR得分。

3.如权利要求2所述的信息处理设备，其中，所述音频图像结合的语音识别得分计算单元执行与包含在音频语音识别信息中的所述字信息之前和之后的静默时段相对应的视素得分设置处理，并且通过包含与构成字的所有音素相对应的视素得分以及与静默时段相对应的视素得分的得分的算术平均值或几何平均值的计算处理，来计算作为与用户相对应的得分的音频视觉语音识别AVSR得分。

4.如权利要求2或3所述的信息处理设备，其中，所述音频图像结合的语音识别得分计算单元使用预先设置的先验知识的值，作为在未输入指示字语音时段的嘴部形状的视素信息的时段的视素得分。

5.如权利要求1至4中任一项所述的信息处理设备，其中，所述信息整合处理单元设置有关所述真实空间的用户信息的假设的概率分布数据，并且通过基于所述音频视觉语音识别AVSR得分更新以及选择假设来执行说话者指定处理。

6.如权利要求1至5中任一项所述的信息处理设备，还包括：

音频事件检测单元，输入有作为所述真实空间的观察信息的音频信息，并且所述音频事件检测单元生成包含存在于所述真实空间中的用户的估计辨识信息和估计定位信息的音频事件信息；以及

图像事件检测单元，输入有作为所述真实空间的观察信息的图像信息，并且所述图像事件检测单元生成包含存在于所述真实空间中的用户的估计辨识信息和估计定位信息的图像事件信息，

其中，所述信息整合处理单元设置有关用户的定位和辨识信息的假设的概率分布数据，并且通过基于所述事件信息更新以及选择假设，来生成包含存在于所述真实空间中的用户的定位信息的分析信息。

7.如权利要求6所述的信息处理设备，其中，所述信息整合处理单元被配置为通过执行被应用了设置有与虚拟用户相对应的多个目标数据的多个粒子的粒子滤波处理，来生成包含存在于所述真实空间中的用户的定位信息的分析信息，以及

其中，所述信息整合处理单元被配置为将设置在所述粒子中的每个目标数据与从所述音频事件检测单元和所述图像事件检测单元输入的每个事件相关联地进行设置，并且根据输入事件标识符更新从每个粒子中选择的与所述事件相对应的目标数据。

8.如权利要求7所述的信息处理设备，其中，所述信息整合处理单元通过关联以由所述事件检测单元检测出的面部图像为单位的每个事件来执行处理。