[发明专利]结构化信息提取及模型构建方法、设备及存储介质有效
申请号: | 202110772702.1 | 申请日: | 2021-07-08 |
公开(公告)号: | CN113505224B | 公开(公告)日: | 2023-01-10 |
发明(设计)人: | 王宝岩;杨悦 | 申请(专利权)人: | 万翼科技有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F16/31;G06F40/205;G06F40/279 |
代理公司: | 深圳智汇远见知识产权代理有限公司 44481 | 代理人: | 王旭;刘洁 |
地址: | 519085 广东省珠海市横琴新*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 结构 信息 提取 模型 构建 方法 设备 存储 介质 | ||
1.一种结构化信息提取模型构建方法,其特征在于,包括:
获取样本集合,其中,所述样本集合包括每个语句类别对应的正样本语句和负样本语句,所述正样本语句的真实语句类别为所述正样本语句对应的语句类别,所述负样本语句的真实语句类别和所述负样本语句对应的语句类别不同,且所述负样本语句被初始结构化信息提取模型识别为所述正样本语句对应的语句类别;
提取所述样本集合中每条样本的语句表示特征和字表示特征;
将所述样本集合中每条样本的所述语句表示特征和所述字表示特征,输入至所述初始结构化信息提取模型,进行训练,获得结构化信息提取模型;
其中,所述获取样本集合,包括:
获取初始样本集合,所述初始样本集合包括初始样本语句和所述初始样本语句的真实语句类别;
提取所述初始样本集合中每条样本的语句表示特征;
将所述初始样本集合中每条样本的所述语句表示特征,输入至所述初始结构化信息提取模型,获得所述初始结构化信息提取模型输出的所述初始样本语句对应的预测语句类别;
比较所述初始样本语句的真实语句类别和所述初始样本语句对应的预测语句类别,获得比较结果;
若所述比较结果为所述真实语句类别和所述预测语句类别相同,则将所述初始样本语句作为所述预测语句类别对应的所述正样本语句;
若所述比较结果为所述真实语句类别和所述预测语句类别不同,则将所述初始样本语句作为所述预测语句类别对应的所述负样本语句。
2.根据权利要求1所述的结构化信息提取模型构建方法,其特征在于,所述获取初始样本集合,包括:
获取原始文本;
将所述原始文本按照标点符号划分为至少两个原始语句;
从至少两个所述原始语句中,通过文本匹配,查找到至少两个初始语句;
将至少两个所述初始语句的文本格式统一,获得所述初始样本语句;
获取所述初始样本语句的真实语句类别。
3.根据权利要求2所述的结构化信息提取模型构建方法,其特征在于,所述从至少两个所述原始语句中,通过文本匹配,查找到至少两个初始语句,包括:
从至少两个所述原始语句中,查找数字文本,包含所述数字文本的所述原始语句作为所述初始语句;
和/或
从至少两个所述原始语句中,查找特殊符号,包含所述特殊符号的所述原始语句作为所述初始语句;
和/或
从至少两个所述原始语句中,查找预设句式,包含所述预设句式的所述原始语句作为所述初始语句。
4.根据权利要求1至3任一项所述的结构化信息提取模型构建方法,其特征在于,所述将所述样本集合中每条样本的所述语句表示特征和所述字表示特征,输入至初始结构化信息提取模型,进行训练,获得结构化信息提取模型,包括:
根据所述样本集合中每条样本的所述语句表示特征和所述字表示特征,获取损失,其中,所述损失包括正负样本距离,所述损失和所述正负样本距离成正相关;
根据所述损失,优化所述初始结构化信息提取模型的参数后,返回执行所述将所述样本集合中每条样本的所述语句表示特征和所述字表示特征,输入至初始结构化信息提取模型的步骤,直至所述损失趋于稳定时,将所述初始结构化信息提取模型作为最终的所述结构化信息提取模型。
5.根据权利要求4所述的结构化信息提取模型构建方法,其特征在于,所述正负样本距离的获取过程包括:
获取所述正样本语句的语句表示特征和所述负样本语句的语句表示特征之间的相似度;
将所述相似度作为所述正负样本距离。
6.一种结构化信息提取方法,其特征在于,包括:
获取待结构化语句;
提取所述待结构化语句的语句表示特征和字表示特征;
将所述待结构化语句的语句表示特征和字表示特征,输入至预先训练的结构化信息提取模型,获得所述结构化信息提取模型输出的结构化信息,其中,所述结构化信息包括所述待结构化语句对应的预测语句类别、所述待结构化语句中包含的实体和所述实体对应的预测实体类别;
其中,所述结构化信息提取模型为采用权利要求1至5任一项所述的方法构建得到。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于万翼科技有限公司,未经万翼科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110772702.1/1.html,转载请声明来源钻瓜专利网。
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置