[发明专利]文本摘要生成方法、装置、设备和存储介质有效
申请号: | 202110702675.0 | 申请日: | 2021-06-24 |
公开(公告)号: | CN113434662B | 公开(公告)日: | 2022-06-24 |
发明(设计)人: | 王改;吴少康 | 申请(专利权)人: | 平安国际智慧城市科技股份有限公司 |
主分类号: | G06F16/34 | 分类号: | G06F16/34;G06F40/289;G06F40/30 |
代理公司: | 深圳国新南方知识产权代理有限公司 44374 | 代理人: | 艾青 |
地址: | 518000 广东省深圳市前海深港合*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 摘要 生成 方法 装置 设备 存储 介质 | ||
1.一种文本摘要生成方法,其特征在于,所述方法包括:
获取训练样本集,所述训练样本集包括使用样本摘要标注过的样本文本;
利用所述训练样本集对当前预训练Bert模型进行训练;
判断所述当前预训练Bert模型是否不为检测模型且不满足预设的训练终止条件;
若所述当前预训练Bert模型为检测模型,和/或,所述当前预训练Bert模型满足预设的训练终止条件,则对所述当前预训练Bert模型进行能力检测,得到能力检测结果;
根据所述能力检测结果判断是否执行训练节点回退操作;
若执行训练节点回退操作,则根据回退规则确定一目标历史预训练Bert模型作为下一预训练Bert模型,将所述下一预训练Bert模型作为当前预训练Bert模型,返回执行所述利用所述训练样本集对当前预训练Bert模型进行训练的步骤,其中,所述目标历史预训练Bert模型为历史训练节点对应的预训练Bert模型;
若不执行训练节点回退操作且所述当前预训练Bert模型不满足预设的训练终止条件,则根据得到的模型更新信息对所述当前预训练Bert模型进行参数调整得到下一预训练Bert模型,将所述下一预训练Bert模型作为当前预训练Bert模型,返回执行所述利用所述训练样本集对当前预训练Bert模型进行训练的步骤;
若不执行训练节点回退操作且所述当前预训练Bert模型满足预设的训练终止条件,则得到摘要生成模型;
若所述当前预训练Bert模型不为检测模型且不满足预设的训练终止条件,则根据得到的模型更新信息对所述当前预训练Bert模型进行参数调整得到下一预训练Bert模型,将所述下一预训练Bert模型作为当前预训练Bert模型,返回执行所述利用所述训练样本集对当前预训练Bert模型进行训练的步骤;
将摘要待提取文本输入至所述摘要生成模型,得到目标摘要。
2.根据权利要求1所述的方法,其特征在于,在所述获取训练样本集之前,所述方法还包括:
获取样本文本中每两个样本文本对应的两个样本摘要的摘要相似度;
将摘要相似度大于或等于预设相似度所对应的两个样本文本的标签设为相同样本摘要,或,将摘要相似度大于或等于预设相似度的两个样本摘要进行合并处理后作为对应的两个样本文本的共同样本摘要;
根据所有样本文本的权重比,复制样本文本、并复制对应的样本摘要作为样本文本副本的标签,使不同样本文本之间的数量之比为权重之比。
3.根据权利要求1所述的方法,其特征在于,在所述判断所述当前预训练Bert模型是否不为检测模型且不满足预设的训练终止条件之前,所述方法还包括:
根据获取到的所述当前预训练Bert模型对应的训练数据更新训练记录表,所述训练记录表包括每个历史训练节点对应的历史预训练Bert模型的历史模型参数、训练完成时刻、是否满足预设的训练终止条件;
所述若执行训练节点回退操作,则根据回退规则确定一目标历史预训练Bert模型作为下一预训练Bert模型,包括:
若执行训练节点回退操作,则根据所述训练记录表和所述回退规则,将训练节点从所述当前预训练Bert模型对应的当前训练节点回退至目标历史训练节点,
将所述目标历史训练节点对应的目标历史预训练Bert模型确定为下一预训练Bert模型。
4.根据权利要求3所述的方法,其特征在于,在所述对所述当前预训练Bert模型进行能力检测,得到能力检测结果之后,所述方法还包括:根据所述当前预训练Bert模型的能力检测结果更新所述训练记录表,所述训练记录表还包括:每个历史检测模型的能力检测结果;
所述根据所述训练记录表和所述回退规则,将训练节点从所述当前预训练Bert模型对应的当前训练节点回退至目标历史训练节点,包括:
根据所述训练记录表和回退规则获取当前预训练Bert模型之前且表现指标满足预设标准的目标历史预训练Bert模型,
将训练节点从所述当前预训练Bert模型对应的当前训练节点回退至所述目标历史预训练Bert模型对应的目标历史训练节点。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安国际智慧城市科技股份有限公司,未经平安国际智慧城市科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110702675.0/1.html,转载请声明来源钻瓜专利网。