[发明专利]一种三维虚拟偶像直播中实时生成字幕的方法及装置

说明书

本发明涉及一种三维虚拟偶像直播中实时生成字幕的方法，包括以下步骤：采集动捕演员的动作及语音数据，并将动作与语音进行时间关联；将采集的语音数据实时通过语音云智能识别系统进行语音识别，将语音转换为对应的字幕文本；将字幕文本发送至三维虚拟偶像直播图形工作站制作出字幕画面；将采集的动作数据与三维虚拟偶像的模型进行动作匹配生成三维动画；根据动作与语音的时间关联，将三维动画与字幕画面进行叠加处理，生成最终的播放画面。不仅适用于三维虚拟偶像直播中实时生成字幕，还可以适用于传统的网络直播、电视直播中，整个过程是通过计算机装置及程序实时完成，无需人工制作，不存在延迟的问题。

技术领域

本发明涉及一种实时字幕生成方法及装置，尤其涉及一种三维虚拟偶像直播中实时生成字幕的方法及装置。

背景技术

目前，随着直播行业的火热发展，越来越多的人玩起了直播，直播内容多种多样，丰富了人们的业余生活，但是，现在的直播基本都没有字幕，如果主播发言带点口音或者语速较快就可能听不懂主播在说些什么；长久以来，直播都是以真人的方式进行，如果生动的虚拟形象能替代真人，那直播世界将向更多喜欢二次元世界的人敞开大门，随着中国“二次元经济”热潮的到来，逐渐出现了虚拟偶像直播；在虚拟偶像直播中，同样存在传统真人直播的问题，即无法播放实时字幕，现有直播中的实时字幕往往通过硬延时技术，给原有直播信号加5-10分钟的延时，用这个延时时间完成字幕制作与播放，但这种方式操作成本和人力成本都比较高；而虚拟偶像直播中，往往是根据现有台词实现制作好字幕轨，直播时再插入字幕，但是这就有了一定的局限性，当直播中有临时发挥成分时，就无法显示相关部分的字幕。

发明内容

本发明提供一种三维虚拟偶像直播中实时生成字幕的方法及装置，通过虚拟偶像直播技术与AI智能语音云识别技术的结合，将动捕演员的声音实时通过语音云识别转写为字幕文本并传回三维虚拟偶像直播图形工作站进行字幕画面与三维动画的结合，生成带字幕的虚拟偶像直播动画，识别率高，无需进行延迟操作，实现了虚拟偶像直播中播放实时字幕的要求，不会受台词的限制，并且制作过程简单智能。

本发明的技术方案第一方面为一种三维虚拟偶像直播中实时生成字幕的方法，其包括如下步骤：

采集动捕演员的动作及语音数据，并将动作与语音进行时间关联；

将采集的语音数据实时通过语音云智能识别系统进行语音识别，将语音转换为对应的字幕文本；

将字幕文本发送至三维虚拟偶像直播图形工作站制作出字幕画面；

将采集的动作数据与三维虚拟偶像的模型进行动作匹配生成三维动画；

根据动作与语音的时间关联，将三维动画与字幕画面进行叠加处理，生成最终的播放画面。

进一步，所述采集动捕演员的动作及语音数据，并将动作与语音进行时间关联，包括：

使用动作捕捉服捕捉动捕演员做出的动作；

使用无线阵列麦克风采集动捕演员的语音；

将采集的动作和语音数据均进行时间标记并根据该时间标记对齐。

进一步，所述将采集的语音数据实时通过语音云智能识别系统进行语音识别，包括：

将采集的语音数据转换为音频文件并发送至音频工作站；

音频工作站将音频文件上传至语音云智能识别系统的云服务器进行语音识别；

其中，语音识别包括：

提取语音数据的声学特征；

将提取的声学特征与语音云智能识别系统的数据库中的声学模型进行匹配，转换为对应的字幕文本。

进一步，所述将字幕文本发送至三维虚拟偶像直播图形工作站制作出字幕画面，包括：