[发明专利]文本分类模型训练方法、诉讼状分类方法及装置有效
申请号: | 202110600977.7 | 申请日: | 2021-05-31 |
公开(公告)号: | CN113344060B | 公开(公告)日: | 2022-07-08 |
发明(设计)人: | 王文博;刘秉权;孙承杰;刘远超;单丽莉;林磊 | 申请(专利权)人: | 哈尔滨工业大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06F16/35;G06N3/04;G06N3/08 |
代理公司: | 北京隆源天恒知识产权代理有限公司 11473 | 代理人: | 鞠永帅 |
地址: | 150000 黑龙*** | 国省代码: | 黑龙江;23 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 分类 模型 训练 方法 诉讼状 装置 | ||
1.一种文本分类模型训练方法,其特征在于,包括:
获取预先根据文本信息建立的多个人物事件关系图和文本信息的标签;
将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码,获得各个所述人物事件关系图的编码结果;
基于注意力机制,分别确定各个所述编码结果的权重值,根据所述权重值对各个所述编码结果进行加权求和,获得文本表征结果;
根据所述文本表征结果进行分类预测,获得预测结果;
根据所述文本表征结果、所述预测结果和所述标签迭代优化所述文本分类模型至收敛;
所述文本分类模型包括图卷积神经网络,所述将各个所述人物事件关系图输入预先建立的文本分类模型,分别对各个所述人物事件关系图进行编码包括:
确定各个所述人物事件关系图对应的真实邻接矩阵,并将各个所述真实邻接矩阵输入所述图卷积神经网络,采用第一公式分别对各个所述人物事件关系图进行编码,所述第一公式包括:
其中,k表示任一所述人物事件关系图,表示第l层的图卷积神经网络对人物事件关系图k进行编码得到的编码结果,Wk(l)表示第l层图卷积神经网络的参数矩阵,是人物事件关系图k的真实邻接矩阵Ak的伴随矩阵,Ik是单位矩阵,是矩阵的度矩阵,函数φ表示非线性激活函数。
2.根据权利要求1所述的文本分类模型训练方法,其特征在于,所述文本分类模型包括解码器,所述根据所述文本表征结果、所述预测结果和所述标签迭代训练所述文本分类模型至收敛包括:
采用所述解码器对所述文本表征结果进行恢复,获得恢复出的邻接矩阵;
根据所述恢复出的邻接矩阵和所述人物事件关系图对应的真实邻接矩阵确定L2范数损失;
根据所述文本表征结果和所述标签确定交叉熵损失,并根据所述L2范数损失和所述交叉熵损失确定联合损失;
根据所述联合损失迭代优化所述文本分类模型至收敛。
3.根据权利要求2所述的文本分类模型训练方法,其特征在于,所述人物事件关系图包括人物与人物关系图、人物与事件关系图和事件与事件关系图。
4.根据权利要求2所述的文本分类模型训练方法,其特征在于,所述文本分类模型包括全连接神经网络,通过所述全连接神经网络采用第二公式分别确定各个所述编码结果的权重值,所述第二公式包括:
其中,αk表示人物事件关系图k的权重值,参数矩阵以及分别为全连接神经网络中的待训练参数,向量为待训练的共享向量,表示人物事件关系图k的编码结果Zk的转置矩阵;
根据所述权重值采用第三公式对各个所述编码结果进行加权求和,所述第三公式包括:
Z=∑k∈{pe,pp,ee}αkZk,
其中,Z表示所述文本表征结果,k表示任一所述人物事件关系图,pp表示人物与人物关系图,pe表示人物与事件关系图,ee表示事件与事件关系图。
5.根据权利要求4所述的文本分类模型训练方法,其特征在于,采用所述解码器根据第四公式对所述文本表征结果进行恢复,所述第四公式包括:
其中,Ape'表示所述恢复出的邻接矩阵,为待训练的权重系数,Z表示所述文本表征结果。
6.根据权利要求5所述的文本分类模型训练方法,其特征在于,根据所述恢复出的邻接矩阵和所述人物事件关系图对应的真实邻接矩阵采用第五公式确定L2范数损失,所述第五公式包括:
Lr=||Ape-Ape'||2,
其中,Lr表示所述L2范数损失,Ape'表示恢复出的邻接矩阵,Ape表示真实邻接矩阵。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于哈尔滨工业大学,未经哈尔滨工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110600977.7/1.html,转载请声明来源钻瓜专利网。