[发明专利]一种处理样本倾斜的文本分类方法有效
| 申请号： | 202011467463.0 | 申请日： | 2020-12-14 |
| 公开（公告）号： | CN112241454B | 公开（公告）日： | 2021-02-19 |
| 发明（设计）人： | 刘世林;罗镇权;张学锋;康青杨;杨李伟;吴桐;曾途 | 申请（专利权）人： | 成都数联铭品科技有限公司 |
| 主分类号： | G06F16/35 | 分类号： | G06F16/35 |
| 代理公司： | 北京市领专知识产权代理有限公司 11590 | 代理人： | 张玲 |
| 地址： | 610015 四川省成都市自由贸易试*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 处理 样本 倾斜 文本 分类 方法 | ||
1.一种处理样本倾斜的文本分类方法，其特征在于：包括以下步骤：
将N个样本类别的数据集重组为M个样本类别的数据集，其中M=N-n+1，n为少样本的类别数量；
使用第一模型对M个样本类别的数据集进行训练，得到以CLS向量表示的V_cls类别向量；
使用第二模型对N个样本类别的数据集进行分类，在分类输入前将所述V_cls类别向量作为第一个输入的特征字符；
根据所述第一模型、第二模型，得到N个样本类别的数据集的分类；使用所述第一模型、第二模型对新的文本进行分类；
所述使用第一模型对M个样本类别的数据集进行训练，得到以CLS向量表示的V_cls类别向量的步骤，包括：
使用所述第一模型分别对M个样本类别的数据集进行训练，得到M个与样本类别对应的分类标签，以及用CLS向量表示的与各分类标签相对应的M个V_cls类别向量；
所述在分类输入前将所述V_cls类别向量作为第一个输入的特征字符，其输入的计算公式为：
P(y|x)=ΣcP(y|c,x)P(c|x)=ΣcP(y|x;Vc)P(c|x)（1）
即：
P(y|x)=ΣcP(y|x;Vc)P(c|x)
=ΣcP(y|x;Vcls)P(c|x)
=P(y|x;Vcls)ΣcP(c|x)
=P(y|x;Vcls)（2）
其中，x代表第二模型的输入，y代表第二模型的输出，c表示M个样本类别的数量，Vc代表类别向量，Vcls表示V_cls类别向量。
2.根据权利要求1所述的处理样本倾斜的文本分类方法，其特征在于：所述第一模型为BERT预训练模型。
3.根据权利要求1所述的处理样本倾斜的文本分类方法，其特征在于：所述第二模型为TextCNN模型。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于成都数联铭品科技有限公司，未经成都数联铭品科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202011467463.0/1.html，转载请声明来源钻瓜专利网。
