|
钻瓜专利网为您找到相关结果 15个,建议您 升级VIP下载更多相关专利
- [发明专利]一种基于机器阅读理解的自然语言系统的处理方法-CN202211135769.5在审
-
戴慧珺;方强;郭小雷
-
苏州慧君陶智能科技有限公司
-
2022-09-19
-
2022-12-09
-
G06F40/35
- 本发明公开了一种基于机器阅读理解的自然语言系统的处理方法,首先基于现有的预训练ALBERT模型,分析模拟机器阅读理解任务中多项选择的文章、问题和答案之间的关系,在交互层提出了一种双向多头共注意力模型,分别将输入的文章和问题答案作为两个查询方向进行编码,并与自注意力机制相结合;在编码层参考transformer结构加入残差网络、前馈网络与层归一化网络;输出结果是每个回答选项被选中的概率值,根据概率值大小确定答案。本发明方法基于大规模预训练语言模型ALBERT,模拟人在解决机器阅读理解问题时的换位思维经验,更好的利用文章、问题、回答三者的自然联系,有效提升了对正确选项的预测精度,解决了自然语言处理中的多项选择问题。将本方案应用在自然语言处理的遮蔽处理和掩码模型、句子预测等领域,可以充分捕捉文章、问题和各个答案选项的信息,能够有效提升机器问答、自然语言推理或文本匹配这些需要句间理解推理的自然语言处理任务上的性能。
- 一种基于机器阅读理解自然语言系统处理方法
|