[发明专利]语言任务的对比预训练在审
| 申请号： | 202080067604.1 | 申请日： | 2020-09-21 |
| 公开（公告）号： | CN114514540A | 公开（公告）日： | 2022-05-17 |
| 发明（设计）人： | T.M.梁;Q.V.勒;K.S.克拉克 | 申请（专利权）人： | 谷歌有限责任公司 |
| 主分类号： | G06N20/00 | 分类号： | G06N20/00;G06N5/04;G06F40/40 |
| 代理公司： | 北京市柳沈律师事务所 11105 | 代理人： | 金玉洁 |
| 地址： | 美国加利*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 提供了通过对比学习任务的使用来训练机器学习语言编码模型的系统和方法。特别地，本公开描述了对比学习任务，其中编码器学习将输入词元与看似合理的替代物区分开。在一些实现中，在每个训练示例上，所提出的方法掩蔽掉原始输入词元的部分子集(例如，15％)，用来自“生成器”(例如，其可以是小型掩蔽语言模型)的样本来替换掩蔽的词元，并然后训练编码器来预测每个词元是来自原始数据还是由生成器产生的替换。 | ||
| 搜索关键词： | 语言 任务 对比 训练 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司，未经谷歌有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202080067604.1/，转载请声明来源钻瓜专利网。
- 上一篇：区块链账本验证和服务
- 下一篇：跨骑型车辆、收纳箱单元
