[发明专利]一种文本类别识别方法、装置、计算机设备及介质在审
申请号: | 202111131337.2 | 申请日: | 2021-09-26 |
公开(公告)号: | CN113836303A | 公开(公告)日: | 2021-12-24 |
发明(设计)人: | 黄振宇;王磊;吴文哲;王媛;王晶璇 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/216 |
代理公司: | 北京辰权知识产权代理有限公司 11619 | 代理人: | 李小朋 |
地址: | 518048 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 类别 识别 方法 装置 计算机 设备 介质 | ||
1.一种文本类别识别方法,其特征在于,所述方法包括:
获取待识别的目标文本;
将所述目标文本和标准集中各文本进行拼接,生成第一拼接文本集;
将所述第一拼接文本集中每条文本逐一输入预先训练的文本类别识别模型中,输出所述第一拼接文本集中每条文本的预测值;其中,所述预先训练的文本类别识别模型是基于第二拼接文本集中的拼接文本训练生成的,所述第二拼接文本集是将训练集、测试集中每条文本与标准集中每条文本进行拼接生成的;
基于所述第一拼接文本集中每条文本的预测值确定所述目标文本的类别。
2.根据权利要求1所述的方法,其特征在于,所述待识别的目标文本的获取方式至少包括从测试集中获取;所述获取待识别的目标文本之前,还包括:
从文本库中采集多条描述文本;
接收针对所述多条描述文本中每条描述文本的标注指令,并基于所述每条描述文本标注后生成多条标注文本;
按照预设百分比将所述多条标注文本划分为训练集、测试集、标准集。
3.根据权利要求1所述的方法,其特征在于,所述基于所述第一拼接文本集中每条文本的预测值确定所述目标文本的类别,包括:
获取预设多个类别中每个类别的阈值;
根据所述第一拼接文本集中每条文本的预测值与所述每个类别的阈值统计所述每个类别的计数结果,生成计数结果序列;
从所述计数结果序列中获取最大计数结果;
将所述最大计数结果与所述最大计数结果的类别对应的标准文本总数量作商,生成目标文本的置信度;
根据所述置信度大于预设值,将所述置信度对应的类别确定为所述目标文本对应的类别。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一拼接文本集中每条文本的预测值与所述每个类别的阈值统计所述每个类别的计数结果,生成计数结果序列,包括:
逐一判断所述第一拼接文本集中每条文本的预测值是否大于所述每个类别的阈值;
若是,对所述每个类别的初始值自动加一;若否,将所述每个类别的初始值保持不变;其中,所述初始值为0;
当所述第一拼接文本集中每条文本的预测值判断结束后,将所述每个类别的最终初始值确定为所述每个类别的计数结果。
5.根据权利要求2所述的方法,其特征在于,按照以下步骤生成预先训练的文本类别识别模型,包括:
将所述训练集、所述测试集中每条文本与所述标准集中每条文本进行拼接,生成第二拼接文本集;
创建文本类别识别模型;
将所述第二拼接文本集中每条拼接文本输入所述文本类别识别模型中,输出所述模型的损失值;
当所述损失值小于预设损失阈值时,生成预先训练的文本类别识别模型。
6.根据权利要求5所述的方法,其特征在于,所述将所述第二拼接文本集中每条拼接文本输入所述文本类别识别模型中,输出所述模型的损失值,包括:
将所述第二拼接文本集中每条拼接文本输入所述文本类别识别模型中,输出第一语义向量与第二语义向量;
根据所述第一语义向量与第二语义向量计算所述第二拼接文本集中每条拼接文本的类别相似值;
确定所述第二拼接文本集中每条拼接文本的标签值;
将所述每条拼接文本的类别相似值与对应的所述标签值作差,生成模型的损失值;
输出所述模型的损失值。
7.根据权利要求5所述的方法,其特征在于,所述当所述损失值小于预设损失阈值时,生成预先训练的文本类别识别模型,包括:
当所述损失值大于等于预设损失阈值时,将所述损失值反向传播;
继续执行所述将所述第二拼接文本集中每条拼接文本输入所述文本类别识别模型中的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111131337.2/1.html,转载请声明来源钻瓜专利网。