[发明专利]一种使用语义标注的中文地址RoBERTa-BiLSTM-CRF耦合解析方法在审
申请号: | 202011483732.2 | 申请日: | 2020-12-16 |
公开(公告)号: | CN112560478A | 公开(公告)日: | 2021-03-26 |
发明(设计)人: | 杜清运;张红伟;任福;张琛;陈张建;陈凯;俞春娜 | 申请(专利权)人: | 武汉大学 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/30;G06F40/169;G06F40/151;G06N3/04;G06N3/08 |
代理公司: | 武汉科皓知识产权代理事务所(特殊普通合伙) 42222 | 代理人: | 许莲英 |
地址: | 430072 湖*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 使用 语义 标注 中文 地址 roberta bilstm crf 耦合 解析 方法 | ||
1.一种使用语义标注的中文地址RoBERTa-BiLSTM-CRF耦合解析方法,其特征在于,包括以下步骤:
步骤1、将多条地址文本依次进行分词,对分词后的字符进行人工语义标注;处理得到分词后地址字符集合及语义标注集合,将多条分词后地址字符集合及语义标注集合进行拼接,得到分词后去重的字符集及语义标注集;
步骤2、将得到分词后去重的字符集通过RoBERTa模型词典转化为字符信息向量,依据字符信息向量将地址文本转化为地址文本信息矩阵;依据语义标注集将地址文本对应的语义标注转化为语义标注信息矩阵;
步骤3、根据地址文本中字符的位置,采用RoBERTa模型中的三角函数位置编码方式计算地址文本中每个字符的位置信息向量,根据每个字符的位置信息向量将地址文本转化为位置信息矩阵;
步骤4、将地址文本信息矩阵和位置信息矩阵相加,进一步与语义标注信息矩阵拼接得到地址信息矩阵;
步骤5、将地址信息矩阵输入到RoBERTa神经网络,得到地址的语义信息矩阵;
步骤6、将地址的语义信息矩阵输入到BiLSTM,使用前向传播算法和后向传播算法对BiLSTM进行训练,通过门控机制对上下文语义信息进行删减,得到标签的得分序列;
步骤7、将标签的得分序列作为输入,利用条件随机场构建标签之间的约束关系,得到中文地址分词的最优标注序列。
2.根据权利要求1所述的使用语义标注的中文地址RoBERTa-BiLSTM-CRF耦合解析方法,其特征在于:
步骤1所述的分词后地址字符集合及标注集合定义为:
其中,addressj表示第j条地址分词后的地址字符集合及语义标注集合,wordj,l表示第j条地址分词后的地址字符集合中第l个字符,tagj,l表示第j条地址分词后的地址字符集合中第l个字符对应的语义标注,Kj表示第j条地址分词后的地址字符集合中字符的数量,Hj表示第j条地址分词后的地址字符对应的语义标注数量,这里Kj=Hj,M表示地址文本的数量;
步骤1所述分别将多条分词后的地址字符集合及语义标注集合进行拼接为:
{address1,address2,...,addressM}
步骤1所述通过去重处理分别得到地址分词后的字符集及语义标注集为将{address1,address2,...,addressM}中重复的字符及语义标注剔除,分别得到分词后去重的字符集及语义标注集为:
word={word1,word2,...,wordN}
tag={tag1,tag2,...,tagK}
其中,wordi为地址分词后去重的字符集中第i个字符,N表示地址分词后去重的字符集中字符的数量,i∈[1,N];tagi为地址语义标注后去重的语义标注集中第i个语义标注,K表示分词后去重的语义标注集的数量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉大学,未经武汉大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011483732.2/1.html,转载请声明来源钻瓜专利网。