[发明专利]一种特征词分类方法、装置、电子设备及存储介质在审
申请号: | 202211453690.7 | 申请日: | 2022-11-21 |
公开(公告)号: | CN115905950A | 公开(公告)日: | 2023-04-04 |
发明(设计)人: | 曹特磊;唐亮;赵伟 | 申请(专利权)人: | 时趣互动(北京)科技有限公司 |
主分类号: | G06F18/241 | 分类号: | G06F18/241;G06F18/22;G06F40/289;G06F40/30 |
代理公司: | 北京智慧亮点知识产权代理事务所(普通合伙) 11950 | 代理人: | 王鸿远 |
地址: | 100020 北京市朝阳*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 特征 分类 方法 装置 电子设备 存储 介质 | ||
1.一种特征词分类方法,其特征在于,所述方法包括:
获取新增的行业特征词;
对新增的行业特征词提取行业特征词的字符组合并进行切分;
根据预先保存的字符组合语义模型,获取所述行业特征词的字符组合的语义向量以及对应的权重;
加权累加字符组合的语义向量,得到当前行业特征词的整体语义向量;
根据所述整体语义向量对所述行业特征词进行整体类别判断。
2.根据权利要求1所述的特征词分类方法,其特征在于,所述字符组合语义模型的训练方法包括:
获取预先积累的特征词文本数据;
采用基于分布式的n-gram挖掘策略,提取特征词文本数据中每个特征词的字符组合,作为特征词整体类别判断的原子语义;
对提取的特征词的字符组合进行语义向量的构建,得到字符组合语义模型。
3.根据权利要求2所述的特征词分类方法,其特征在于,所述对提取的特征词的字符组合进行语义向量的构建的步骤,具体包括:
按照提取的原子语义对特征词的字符组合进行切分,构建语义训练的样本数据;
使用gensim工具包,加载样本数据并训练语义向量;
将训练后的字符组合的语义向量结果进行保存。
4.根据权利要求3所述的特征词分类方法,其特征在于,在执行所述构建语义训练的样本数据的步骤时,将每条特征词文本数据的所有切分可能都加入到训练样本集合中,并确保各字符组合的位置顺序与原文中出现的顺序一致,且没有切分位置上的重叠。
5.根据权利要求4所述的特征词分类方法,其特征在于,所述对新增的行业特征词提取行业特征词的字符组合并进行切分的步骤,具体包括:
按照所述原子语义提取所述行业特征词的字符组合并进行切分;
采用“全量切分”策略,将所述行业特征词内部包含的所有出现在特征词文本数据中的字符组合,都进行提取。
6.根据权利要求5中所述的特征词分类方法,其特征在于,获取所述行业特征词的字符组合对应的权重的方法,具体包括:
采用gensim工具包自带的计算两个词语相对重要度的计算逻辑,计算任意两两字符组合的相对重要度;
根据所述相对重要度生成每个字符组合在当前特征词内的重要度;
将每个字符组合在当前特征词内的重要度作为每个字符组合的权重。
7.根据权利要求6中所述的特征词分类方法,其特征在于,所述根据所述整体语义向量对所述行业特征词进行整体类别判断的步骤,具体包括:
对于聚类操作,对根据行业特征词计算得到的所述整体语义向量直接进行聚类处理;
对于分类操作,在根据行业特征词计算得到的所述整体语义向量之外,叠加一层用于分类的全连接层,并训练相应的分类模型进行分类。
8.一种特征词分类装置,其特征在于,所述装置包括:
特征词获取单元,用于获取新增的行业特征词;
字符提取单元,用于对新增的行业特征词提取行业特征词的字符组合并进行切分;
向量获取单元,用于根据预先保存的字符组合语义模型,获取所述行业特征词的字符组合的语义向量以及对应的权重;
向量计算单元,用于加权累加字符组合的语义向量,得到当前行业特征词的整体语义向量;
特征词分类单元,用于根据所述整体语义向量对所述行业特征词进行整体类别判断。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于时趣互动(北京)科技有限公司,未经时趣互动(北京)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211453690.7/1.html,转载请声明来源钻瓜专利网。