[发明专利]一种基于预训练模型的阅读理解去偏方法在审
| 申请号： | 202211222708.2 | 申请日： | 2022-10-08 |
| 公开（公告）号： | CN115526148A | 公开（公告）日： | 2022-12-27 |
| 发明（设计）人： | 于舒娟;吴梦洁;赵阳;张虎;张昀 | 申请（专利权）人： | 南京邮电大学 |
| 主分类号： | G06F40/126 | 分类号： | G06F40/126;G06K9/62 |
| 代理公司： | 南京纵横知识产权代理有限公司 32224 | 代理人： | 董建林 |
| 地址： | 210023 *** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于预训练模型的阅读理解去偏方法，包括：以预训练模型BERT嵌入层为基础构建文本表示层，设定模型输入为文章‑问题构成的句子对，将输入句子映射为句子向量；对位置编码进行两次随机正则化操作，得到两个随机子模型并计算KL散度，评估其输出分布差异性，更新句子向量输入BERT编码器；将BERT编码器最后一个隐层输出通过全连接层与分类器，以交叉熵损失与KL散度之和计算样本的预测损失，在模型训练过程中根据样本的预测损失优化预训练参数，去除阅读理解位置偏差。本发明利用dropout技术正则化位置编码的基础上，通过在训练中拉低两次dropout产生的随机子模型分布的KL散度来约束随机性，提高模型对位置偏差鲁棒性的同时恢复答案预测准确度。 | ||
| 搜索关键词： | 一种 基于 训练 模型 阅读 理解 偏方 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京邮电大学，未经南京邮电大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202211222708.2/，转载请声明来源钻瓜专利网。
