[发明专利]用于处理视频和相关音频的方法和装置及检索方法和装置

摘要

本发明的实施例提供了一种用于处理视频和相关音频的方法和装置以及检索方法和装置。用于处理视频和相关音频的方法包括：获取包括一个或多个对象的一个或多个人脸的视频；对视频中的每个视频帧进行人脸检测，以识别一个或多个人脸；获取与所述视频在相同时间段内采集的包括一个或多个对象中的至少部分对象的语音的音频；针对一个或多个人脸中的至少部分人脸中的每一个，确定音频中的、与该人脸相对应的音频部分；将该人脸与对应的音频部分关联起来，其中，至少部分人脸分别属于至少部分对象。根据本发明，通过将对象的人脸与其语音关联起来，可以确定对象的说话时间和说话内容，从而方便用户在后期对该对象的说话内容进行查看和检索。

主权项

1.一种用于处理视频和相关音频的方法，包括：获取包括一个或多个对象的一个或多个人脸的视频；对所述视频中的每个视频帧进行人脸检测，以识别所述一个或多个人脸；获取与所述视频在相同时间段内采集的包括所述一个或多个对象中的至少部分对象的语音的音频；针对所述一个或多个人脸中的至少部分人脸中的每一个，确定所述音频中的、与该人脸相对应的音频部分；将该人脸与对应的音频部分关联起来，其中，所述至少部分人脸分别属于所述至少部分对象；其中，在所述针对所述一个或多个人脸中的至少部分人脸中的每一个确定所述音频中的、与该人脸相对应的音频部分之前，所述方法进一步包括：针对所述至少部分人脸中的每一个，根据该人脸的嘴部动作对所述视频进行分段，以获得与该人脸相对应的初始视频段；根据所述音频中的语音特征对所述音频进行分段，以获得与该人脸相对应的初始音频段；以及根据与该人脸相对应的初始视频段和初始音频段获得所述视频中的、与该人脸相对应的有效视频段和所述音频中的、与该人脸相对应的有效音频段；所述针对所述一个或多个人脸中的至少部分人脸中的每一个确定所述音频中的、与该人脸相对应的音频部分包括：针对所述至少部分人脸中的每一个，确定与该人脸相对应的有效音频段为与该人脸相对应的音频部分。