[发明专利]改进的预训练方法、电子设备和存储介质在审
| 申请号： | 202310706125.5 | 申请日： | 2023-06-14 |
| 公开（公告）号： | CN116758904A | 公开（公告）日： | 2023-09-15 |
| 发明（设计）人： | 俞凯;马子阳;郑之胜;杨冠柔;陈谐 | 申请（专利权）人： | 思必驰科技股份有限公司 |
| 主分类号： | G10L15/06 | 分类号： | G10L15/06;G10L15/183;G10L15/16 |
| 代理公司： | 北京商专永信知识产权代理事务所(普通合伙) 11400 | 代理人： | 邓婷婷;黄谦 |
| 地址： | 215123 江苏省苏州市苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 暂无信息 | 说明书： | 暂无信息 |
| 摘要： | 本发明公开改进的预训练方法、电子设备和存储介质，其中，预训练方法，用于预训练模型，所述预训练模型包括单元生成模块和主干网络，包括：利用所述主干网络对语音进行降采样得到第一语音表征，使用掩码对所述第一语音表征中的部分语音表征进行遮蔽得到第二语音表征，对所述第二语音表征进行聚合得到输出语音表征；对于所述输出语音表征的被遮蔽部分，与所述单元生成模块提取的离散目标计算损失，并在所述主干网络中进行梯度反向传播。本申请实施例提出了一个通过无监督算法提升自监督语音表征学习的框架，优化自监督学习的训练目标，在ASR任务上效果超过最先进的模型，同时在多项非ASR任务上取得好的效果。 | ||
| 搜索关键词： | 改进 训练 方法 电子设备 存储 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于思必驰科技股份有限公司，未经思必驰科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202310706125.5/，转载请声明来源钻瓜专利网。
