[发明专利]基于唇部检测的查询端点化

权利要求书

1.一种计算机实现的方法，包括：

由一个或多个计算设备接收视频数据和与所述视频数据同步的音频数据；

由一个或多个计算设备确定所述视频数据的视频帧序列包括具有移动唇部的脸部的表示；

由一个或多个计算设备并基于对所述视频数据进行分析，确定所述视频帧序列中的移动唇部与除语音之外的活动相关联；以及

基于确定所述视频帧序列中的移动唇部与除语音之外的活动相关联，由一个或多个计算设备绕过对与所述视频帧序列同步的音频数据执行语音识别。

2.根据权利要求1所述的方法，其中：

所述视频数据和与所述视频数据同步的音频数据是从智能电话接收的；并且

所述视频数据是由智能电话的前置摄像机捕获的。

3.根据权利要求1所述的方法，包括：

确定所述视频数据包括用户运动；以及

响应于确定所述视频数据包括用户运动，确定所述视频帧序列包括具有移动唇部的脸部的表示。

4.根据权利要求1所述的方法，其中，确定所述视频数据的所述视频帧序列包括具有移动唇部的脸部的表示包括：

识别对于具有移动唇部的脸部的表示的一个或多个特征统计；以及

将所述视频帧序列作为输入提供给模型，所述模型被训练来确定对于具有移动唇部的脸部的表示所识别的一个或多个特征统计是否包括与语音相关联的唇部移动的特征统计。

5.根据权利要求1所述的方法，其中，确定所述视频帧序列包括具有移动唇部的脸部的表示包括：

获得所述视频数据的连续视频帧的多个子集；和

使用深度神经网络处理所述视频数据的连续视频帧的子集中的每一个子集，所述深度神经网络被配置为：

接收连续视频帧的每个子集；

针对连续视频帧的每个子集计算置信度分数，所述置信度分数表示连续视频帧的子集包括具有移动唇部的脸部的表示的可能性；以及

确定每个置信度分数满足置信度分数阈值。

6.根据权利要求1所述的方法，其中，确定所述视频帧序列中的移动唇部与除语音之外的活动相关联包括：

获得所述视频帧序列的连续视频帧的多个子集；

使用深度神经网络处理所述视频帧序列的连续视频帧的子集中的每一个子集，所述深度神经网络被配置为：

接收所述视频帧序列的连续视频帧的每个子集；

针对所述视频帧序列的连续视频帧的每个子集计算置信度分数，所述置信度分数表示连续视频帧的子集包括具有与语音相关联的唇部移动的脸部的表示的可能性；以及

确定每个置信度分数不满足置信度阈值。

7.根据权利要求1所述的方法，其中，绕过对与所述视频帧序列同步的音频数据执行语音识别包括防止由自动语音识别器生成所述音频数据的录音。

8.根据权利要求1所述的方法，其中：

所述音频数据包括对应于由与所述脸部相关联的用户提供的言语查询的语音部分；并且

确定所述视频帧序列中的移动唇部与除语音之外的活动相关联包括：

确定与所述视频帧序列同步的音频数据不包括在对应于由与所述脸部相关联的用户提供的言语查询的语音部分中。

9.一种系统，包括：

一个或多个计算设备；和

存储可操作指令的一个或多个存储设备，所述指令在由一个或多个计算设备执行时，使得一个或多个计算设备执行操作，所述操作包括：

由一个或多个计算设备接收视频数据和与所述视频数据同步的音频数据；

由一个或多个计算设备确定所述视频数据的视频帧序列包括具有移动唇部的脸部的表示；

由一个或多个计算设备并基于对所述视频数据进行分析，确定所述视频帧序列中的移动唇部与除语音之外的活动相关联；以及

基于确定所述视频帧序列中的移动唇部与除语音之外的活动相关联，由一个或多个计算设备绕过对与所述视频帧序列同步的音频数据执行语音识别。