“陈燚雷”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果4个，建议您升级VIP下载更多相关专利

[发明专利]一种基于教师学生网络的语音驱动说话人脸视频生成方法-CN202110811278.7有效
发明人：熊盛武;陈燚雷;曾瑞;林承德;马宜祯 -专利权人：武汉理工大学
申请日： 2021-07-19 - 公布日： 2023-09-15 - 主分类号： G10L21/10 文献下载
摘要：本发明涉及一种基于教师学生网络的语音驱动说话人脸视频生成方法。首先利用教师网络压缩出视频数据中的动态信息，接着利用学生网络学习语音到动态信息的预测，然后使用预训练好的教师网络提取的人脸动态信息作为监督，结合人脸身份信息实现语音驱动人脸的说话任务。相比于传统的任意说话人脸视频生成技术，本发明首次挖掘视频信号中的动态信息，在人脸生成、图片清晰度和生成说话人脸的视频唇形的准确度上有较大的提升。
一种基于教师学生网络语音驱动说话视频生成方法

[发明专利]一种基于解耦表示学习的说话人脸视频生成方法-CN202010420200.8有效
发明人：熊盛武;林承德;路雄博;陈燚雷;刘锋;陈如意;曹丹凤 -专利权人：武汉理工大学;武汉水象电子科技有限公司
申请日： 2020-05-18 - 公布日： 2023-06-20 - 主分类号： G06V20/40 文献下载
摘要：本发明提出了一种基于解耦表示学习的说话人脸视频生成方法，采用分类对抗的方法将音频中的人物身份特征、语音特征及情绪特征解耦，并且用分类对抗的方法将视频中的人物身份特征、语音特征及情绪特征解耦，这些特征的解耦提高了本方法对生成说话视频的可操控性。采用对偶学习对音频中的语音特征和静音视频中的语音特征进行映射，对音频中的情绪特征和静音视频中的情绪特征进行映射，实现了音频和视频的跨模态特征转换，极大提高了从音频生成说话人脸视频的便利性，也提高了生成说话人脸视频的连贯与自然程度。本发明可以根据任意单张人脸图片及音频生成真实自然的说话视频，无需大量特定人脸视频，提高了易用性。
一种基于表示学习说话视频生成方法

[发明专利]一种基于多尺度视频特征融合的语音唇读方法及系统-CN202110716761.7有效
发明人：熊盛武;曾瑞;陈燚雷 -专利权人：武汉理工大学
申请日： 2021-06-28 - 公布日： 2022-08-16 - 主分类号： G10L25/24 文献下载
摘要：本发明提供了一种基于多尺度视频特征融合的语音唇读方法及系统，其中，基于多尺度视频特征融合的语音唇读方法，步骤如下：首先将输入视频的视频帧和语音分离，视频帧用不同大小的滑动窗口划分为多个尺度并构造出n个时间金字塔，再利用3D卷积提取各时间金字塔内各时间尺度的视频特征之后，将视频特征通过多尺度特征融合模块，得到一个固定维度的中间向量，然后再通过使用解码器将中间特征向量合成对应语音的Mel频谱图，最后将得到的Mel谱通过声码器合成语音。本发明主要应用于语音唇读，大大改善了语音合成的效果。
一种基于尺度视频特征融合语音方法系统

[发明专利]一种基于多模态相关性的人脸动画生成方法及系统-CN202110718414.8有效
发明人：熊盛武;马宜祯;陈燚雷;邓梦涵;曾瑞 -专利权人：武汉理工大学
申请日： 2021-06-28 - 公布日： 2022-04-15 - 主分类号： G06T13/20 文献下载
摘要：本发明公开了一种基于多模态相关性的人脸动画生成方法及系统，首先提出了一个基于多模态相关性的人脸动画生成神经网络框架；在网络结构上，首先提出使用多Transformer结构来建模语音驱动人脸动画生成任务中语音模态、图像模态以及语音/图像跨模态的相关性，并基于这种相关性计算驱动语音对应的人脸表情特征，从而提高生成的人脸动画的真实性和流畅性。在网络结构的基础上，创新性地将源视频引入训练过程，可以达到对驱动语音更准确的表情预测结果。另外，单语音模态驱动的方法只能在唇部上生成较好的动画结果，而引入源视频可以提高除唇部区域以外其他面部区域的真实性，从而生成更逼真的人脸动画结果。
一种基于多模态相关性动画生成方法系统