[发明专利]带有两阶段解码器的用于语言理解和生成的预训练框架在审
| 申请号： | 202110758453.0 | 申请日： | 2021-07-05 |
| 公开（公告）号： | CN113449491A | 公开（公告）日： | 2021-09-28 |
| 发明（设计）人： | 俞凯;陈露;马达;陈志 | 申请（专利权）人： | 思必驰科技股份有限公司 |
| 主分类号： | G06F40/126 | 分类号： | G06F40/126;G06F40/205;G06F16/35;G06N3/04;G06N3/08 |
| 代理公司： | 北京商专永信知识产权代理事务所(普通合伙) 11400 | 代理人： | 黄谦;车江华 |
| 地址： | 215123 江苏省苏州市苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例提供一种带有两阶段解码器的用于语言理解和生成的预训练框架，包括：编码器，用于接收条件生成任务中的加噪文本，编码得到加噪文本序列，其中，加噪文本包括：片段遮盖和/或句子打乱的文本；解码器，用于接收编码器输出的加噪文本序列，在第一解码阶段，重构加噪文本序列，得到重构文本，生成对应加噪文本序列的意义表示；在第二解码阶段，基于重构文本和意义表示，生成后续文本。本发明实施例还提供一种二阶段解码器。本发明实施例在第一解码阶段进行重构加理解，在第二解码阶段中既保障了文本的理解，又可以生成后续文本，使得预训练质量更好。显式的理解可以应用于下游任务，方便获取上下文信息，适用任务更广。 | ||
| 搜索关键词： | 带有 阶段 解码器 用于 语言 理解 生成 训练 框架 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于思必驰科技股份有限公司，未经思必驰科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110758453.0/，转载请声明来源钻瓜专利网。
