[发明专利]一种融合人像和语音的屏幕视频生成方法

摘要

本发明公开一种融合人像和语音的屏幕视频生成方法，属于计算机多媒体技术领域，包括开启图像抓取线程步骤，启动一个录音线程步骤、音视频同步步骤、启动人脸抓取线程步骤、将人脸图像加入到屏幕图像的具体位置，通过替换法或者叠加法将人脸图像数据加入到当前帧屏幕图像中，生成融合了人像和语音的屏幕视频步骤，上述融合人像和语音的屏幕视频生成方法，音视频同步方法通过使用图像帧数目转化到时间，使得总的音频时间、视频时间保持一致，进而有效保证音视频数据的严格同步，在音视频同步的基础上，再通过摄像头抓取用户的人像，进而将用户的人脸(即表情)与语音相结合，给视频观看者更直观的体验，提高对屏幕视频内容的理解。

主权项

一种融合人像和语音的屏幕视频生成方法，其特征在于包括如下步骤：1)开启图像抓取线程：按照预定帧率时间间隔捕获屏幕图像，然后通过视频编解码库进行编码，最后把视频码流存入视频文件；2)在开启图像抓取线程的同时启动一个录音线程：抓取音频数据，然后通过音频编解码库进行编码，最后把音频码流写入视频文件；3)音视频同步以音频为基准，录音线程每向视频文件写入一块音频数据的码流时，根据音频采样频率以及音频数据块录音块长度计算得到该视频文件的绝对时间T，所述绝对时间T即为视频文件播放时从文件开始到当前音频数据段的累计播放时间；4)基于视频文件的绝对时间T，根据预设的视频帧率参数，计算得到截止到当前时刻的图像帧的数目a，a即为保持同步的帧数的理想值；然后从图像抓取线程里查询得到该线程到目前为止往视频文件写入的图像帧数目b，倘若a<b，则表示目前写入文件的图像帧过多，应在图像抓取线程中暂停往视频文件里写一次图像；倘若a≥b，则图像抓取线程正常执行往视频文中件写入一帧图像码流，实现音频和视频的同步，步骤3)和4)所述的处理过程伴随图像抓取线程和录音线程这两个线程的生命期全程。5)启动人脸抓取线程：开启摄像头并捕获屏幕正前方的环境图像，对该图像调用人脸检测函数得到用户人脸的包围盒，提取出包围盒内的人脸图像数据；6)确定步骤5)提取的人脸图像加入到屏幕图像的具体位置，通过替换法或者叠加法将人脸图像数据加入到当前帧屏幕图像中，生成融合了人像和语音的屏幕视频。