[发明专利]数据处理方法、装置、可读介质以及电子设备

说明书

本公开涉及一种数据处理方法、装置、可读介质以及电子设备，所述方法包括：获取视频数据和音频数据；确定所述视频数据中包括同一人脸的目标视频数据；针对每一人脸的所述目标视频数据，在所述音频数据中确定与该目标视频数据匹配的目标音频数据；基于每一匹配的所述目标音频数据和所述目标视频数据，从各候选发言人中确定所述目标音频数据的目标发言人。本公开的数据处理方法可以提高为目标音频数据确定的目标发言人的准确度。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种数据处理方法、装置、可读介质以及电子设备。

背景技术

办公场景中，常常需要使用会议纪要对会议进行记录和保存，对于一份可读性强的会议纪要，需要记录会议发言人的身份、发言时间以及发言内容。相关技术中，使用说话人分割聚类和语音识别的技术，对会议视频进行处理生成会议纪要，然而，目前的说话人分割聚类技术难以检测会议中的说话人数量，并且难以判断说话人转换点，使得最终生成的会议纪要不准确，效果不理想。

发明内容

提供该部分内容以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该部分内容并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种数据处理方法，包括：

获取视频数据和音频数据；

确定所述视频数据中包括同一人脸的目标视频数据；

针对每一人脸的所述目标视频数据，在所述音频数据中确定与该目标视频数据匹配的目标音频数据；

基于每一匹配的所述目标音频数据和所述目标视频数据，从各候选发言人中确定所述目标音频数据的目标发言人。

第二方面，本公开提供一种数据处理装置，包括：

获取模块，被配置为获取视频数据和音频数据；

第一确定模块，被配置为确定所述视频数据中包括同一人脸的目标视频数据；

第二确定模块，被配置为针对每一人脸的所述目标视频数据，在所述音频数据中确定与该目标视频数据匹配的目标音频数据；

第三确定模块，被配置为基于每一匹配的所述目标音频数据和所述目标视频数据，从各候选发言人中确定所述目标音频数据的目标发言人。

第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面所述方法的步骤。

第四方面，本公开提供一种电子设备，包括：

存储装置，其上存储有至少一个计算机程序；

至少一个处理装置，用于执行所述存储装置中的所述至少一个计算机程序，以实现第一方面所述方法的步骤。

通过上述技术方案，针对每一人脸确定匹配的目标音频数据和目标视频数据，并基于匹配的目标音频数据和目标视频数据确定该目标音频数据的目标发言人，利用多模态信息，即目标音频数据和目标视频数据，确定目标发言人，提高了确定的目标发言人的准确度。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：

图1是根据本公开一示例性实施例示出的一种数据处理方法的流程图。

图2是根据本公开一示例性实施例示出的目标视频数据的示意图。