[发明专利]一种基于神经网络模型的中文语言处理方法及装置在审
申请号: | 202111492092.6 | 申请日: | 2021-12-08 |
公开(公告)号: | CN114185931A | 公开(公告)日: | 2022-03-15 |
发明(设计)人: | 不公告发明人 | 申请(专利权)人: | 中国人民银行清算总中心 |
主分类号: | G06F16/2452 | 分类号: | G06F16/2452;G06F16/242;G06N3/04;G06N3/08 |
代理公司: | 北京三友知识产权代理有限公司 11127 | 代理人: | 党晓林;周永君 |
地址: | 100048 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 神经网络 模型 中文 语言 处理 方法 装置 | ||
1.一种基于神经网络模型的中文语言处理方法,其特征在于,包括:
获取中文问题语句;
对所述中文问题语句、表信息和列信息进行预处理,获得特征向量;
根据所述特征向量以及转换模型,获得所述中文问题语句对应的结构化查询语句,所述结构化查询语句包括数据值;其中,所述转换模型是基于中文问题语句训练数据训练获得的。
2.根据权利要求1所述的方法,其特征在于,所述根据所述特征向量以及转换模型,获得所述中文问题语句对应的结构化查询语句包括:
在编码阶段生成所述特征向量对应的抽象语法树,所述抽象语法树的每个值节点具有开始子节点和结束子节点;
在解码阶段基于线性模型获得每个值节点的开始子节点的值和每个值节点的结束子节点的值;其中,所述线性模型是预设的。
3.根据权利要求2所述的方法,其特征在于,所述线性模型为:
其中,表示解码阶段的第i时刻的值节点对应的值在所述中文问题语句中的起始位置,表示解码阶段的第i时刻的值节点对应的值在所述中文问题语句中的结束位置,Eq表示所述中文问题语句对应的编码器的输出,d表示Eq的维度,Wstart、bstart、Wend和bend为所述线性模型的模型参数,hi-1为解码阶段的第i-1刻的输出。
4.根据权利要求1所述的方法,其特征在于,基于中文问题语句训练数据训练所述转换模型的步骤包括:
获取中文问题语句训练数据,所述中文问题语句训练数据包括中文问题语句与对应的结构化查询语句;其中,结构化查询语句经过值填充;
对所述中文问题语句训练数据包括的中文问题语句、表信息和列信息进行预处理,获得所述中文问题语句训练数据中每条中文问题语句对应的特征数据;
根据改进的RAT-SQL模型、各条中文问题语句对应的特征数据和结构化查询语句,训练获得所述转换模型。
5.根据权利要求4所述的方法,其特征在于,所述改进的RAT-SQL模型包括编码模块和解码模块,所述编码模块的抽象语法树的每个值节点具有开始子节点和结束子节点,所述编码模块包括原始线性模型,所述原始线性模型用于获得每个值节点的开始子节点的值和结束子节点的值。
6.根据权利要求5所述的方法,其特征在于,所述原始线性模型为:
其中,表示解码阶段的第i时刻的值节点对应的值在所述中文问题语句中的起始位置,表示解码阶段的第i时刻的值节点对应的值在所述中文问题语句中的结束位置,Eq表示所述中文问题语句对应的编码器的输出,d表示Eq的维度,Wstart、bstart、Wend和bend为所述原始线性模型的参数。
7.一种基于神经网络模型的中文语言处理装置,其特征在于,包括:
第一获取模块,用于获取中文问题语句;
第一预处理模块,用于对所述中文问题语句、表信息和列信息进行预处理,获得特征向量;
转换模块,用于根据所述特征向量以及转换模型,获得所述中文问题语句对应的结构化查询语句,所述结构化查询语句包括数据值;其中,所述转换模型是基于中文问题语句训练数据训练获得的。
8.根据权利要求7所述的装置,其特征在于,所述转换模块包括:
生成单元,用于在编码阶段生成所述特征向量对应的抽象语法树,所述抽象语法树的每个值节点具有开始子节点和结束子节点;
获得单元,用于在解码阶段基于线性模型获得每个值节点的开始子节点的值和每个值节点的结束子节点的值;其中,所述线性模型是预设的。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民银行清算总中心,未经中国人民银行清算总中心许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111492092.6/1.html,转载请声明来源钻瓜专利网。