[发明专利]语音端点检测方法、装置、电子设备及存储介质

权利要求书

1.一种语音端点检测方法，包括：

获取时间对齐的语音数据及视频数据；

利用训练得到的语音检测模型，对所述语音数据进行语音起点和语音尾点的第一检测；

对所述视频数据进行唇动起点和唇动尾点的第二检测；

利用第二检测结果对第一检测结果进行修正，将修正后的结果作为语音端点检测结果；

其中，所述利用第二检测结果对第一检测结果进行修正包括：当语音检测状态为有语音状态且唇动检测状态为无唇动状态时，若检测到唇动起点，且检测到唇动起点的时间相对于最近一次检测到语音起点的时间符合预定的时间要求，则将检测到的唇动起点作为确定出的语音尾点以及新的语音起点，所述有语音状态为检测到语音起点之后到检测到对应的语音尾点之前的时间所处的状态，所述无唇动状态为有唇动状态之外的时间所处的状态，所述有唇动状态为检测到唇动起点之后到检测到对应的唇动尾点之前的时间所处的状态。

2.根据权利要求1所述的方法，其中，所述对所述视频数据进行唇动起点和唇动尾点的第二检测包括：

利用训练得到的唇动检测模型，对所述视频数据进行所述第二检测，得到视频中的人脸的唇动起点和唇动尾点。

3.根据权利要求1所述的方法，其中，所述符合预定的时间要求包括：

检测到唇动起点的时间与最近一次检测到语音起点的时间之间的差值大于预定阈值。

4.根据权利要求1所述的方法，其中，所述利用第二检测结果对第一检测结果进行修正包括：

当语音检测状态为有语音状态且唇动检测状态为有唇动状态时，若检测到唇动尾点，则将检测到的唇动尾点作为确定出的语音尾点以及新的语音起点。

5.根据权利要求1～4中任一项所述的方法，还包括：

若确定视频中的人脸的唇部未被遮挡，则对所述视频数据进行所述第二检测。

6.一种语音端点检测装置，包括：获取模块、第一检测模块、第二检测模块以及修正模块；

所述获取模块，用于获取时间对齐的语音数据及视频数据；

所述第一检测模块，用于利用训练得到的语音检测模型，对所述语音数据进行语音起点和语音尾点的第一检测；

所述第二检测模块，用于对所述视频数据进行唇动起点和唇动尾点的第二检测；

所述修正模块，用于利用第二检测结果对第一检测结果进行修正，将修正后的结果作为语音端点检测结果；

其中，所述修正模块在语音检测状态为有语音状态且唇动检测状态为无唇动状态时，若检测到唇动起点，且检测到唇动起点的时间相对于最近一次检测到语音起点的时间符合预定的时间要求，则将检测到的唇动起点作为确定出的语音尾点以及新的语音起点，所述有语音状态为检测到语音起点之后到检测到对应的语音尾点之前的时间所处的状态，所述无唇动状态为有唇动状态之外的时间所处的状态，所述有唇动状态为检测到唇动起点之后到检测到对应的唇动尾点之前的时间所处的状态。

7.根据权利要求6所述的装置，其中，

所述第二检测模块利用训练得到的唇动检测模型对所述视频数据进行所述第二检测，得到视频中的人脸的唇动起点和唇动尾点。

8.根据权利要求6所述的装置，其中，所述符合预定的时间要求包括：

检测到唇动起点的时间与最近一次检测到语音起点的时间之间的差值大于预定阈值。

9.根据权利要求6所述的装置，其中，

所述修正模块在语音检测状态为有语音状态且唇动检测状态为有唇动状态时，若检测到唇动尾点，则将检测到的唇动尾点作为确定出的语音尾点以及新的语音起点。

10.根据权利要求6～9中任一项所述的装置，其中，

所述第二检测模块进一步用于，若确定视频中的人脸的唇部未被遮挡，则对所述视频数据进行所述第二检测。