[发明专利]文本分类器的构建方法、构建装置及文本分类方法有效
申请号: | 201710779864.1 | 申请日: | 2017-09-01 |
公开(公告)号: | CN107491554B | 公开(公告)日: | 2018-12-04 |
发明(设计)人: | 李德彦;晋耀红;席丽娜 | 申请(专利权)人: | 北京神州泰岳软件股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F17/27 |
代理公司: | 北京弘权知识产权代理事务所(普通合伙) 11363 | 代理人: | 逯长明;许伟群 |
地址: | 100089 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 分类 构建 方法 装置 | ||
1.一种文本分类器的构建方法,其特征在于,包括以下步骤:
获取分类体系,以多叉树数据结构存储所述分类体系,生成本体树;
从所述本体树的本体节点中提取关键词;
获取本体表达式,所述本体表达式根据分类规则和语义模型生成,所述分类规则根据所述关键词和逻辑算子生成,所述语义模型根据所述关键词生成;
将所述本体节点与相应的所述本体表达式建立关联,得到文本分类器,所述文本分类器包括所述本体树以及与所述本体树各个本体节点相应关联的本体表达式;
从所述本体树的本体节点中提取关键词的步骤,包括:
从本体节点的名称中提取主题词;
根据所述主题词获取扩展词,得到包括所述主题词和所述扩展词的所述关键词;
根据所述主题词获取扩展词的步骤,包括:
将预设的样本文本进行分词得到第一字符;
根据第一字符构建倒排索引,得到索引库;
将所述主题词进行分词得到第二字符;
将第二字符与所述索引库匹配;
根据匹配的结果计算样本文本与主题词的相关度;
按照相关度由大至小降序显示相关度大于零的所述样本文本;
在显示的样本文本中高亮标记与所述第二字符匹配的第一字符;
根据显示的样本文本中与所述主题词部分匹配的字符获取扩展词。
2.根据权利要求1所述的文本分类器的构建方法,其特征在于,还包括:
利用所述文本分类器确定预设的测试文本的预测分类标签;
当准确率小于预设阈值时,调整所述文本分类器中的本体表达式,所述准确率为与测试文本的原始分类标签匹配的预测分类标签的数量占预测分类标签总数的比值。
3.根据权利要求2所述的文本分类器的构建方法,其特征在于,调整分类器中的本体表达式的步骤,包括:
提取与原始分类标签不匹配的预测分类标签所对应的本体表达式;
当对应的本体表达式中缺少约束因子时,在本体表达式中增加约束因子,得到优化的本体表达式,所述约束因子包括语义模型中的概念和/或逻辑算子。
4.一种文本分类方法,其特征在于,包括以下步骤:
获取待分类文本;
确定文本分类器中与所述待分类文本匹配的本体表达式,其中,所述文本分类器包括本体树,以及与所述本体树中的各个本体节点相应关联的本体表达式,所述本体表达式根据分类规则和语义模型生成,所述分类规则根据关键词和逻辑算子生成,所述语义模型根据所述关键词生成,所述关键词从所述本体树的本体节点中提取得到,包括以下步骤:从本体节点的名称中提取主题词;根据所述主题词获取扩展词,得到包括所述主题词和所述扩展词的所述关键词;根据所述主题词获取扩展词的步骤,包括:将预设的样本文本进行分词得到第一字符;根据第一字符构建倒排索引,得到索引库;将所述主题词进行分词得到第二字符;将第二字符与所述索引库匹配;根据匹配的结果计算样本文本与主题词的相关度;按照相关度由大至小降序显示相关度大于零的所述样本文本;在显示的样本文本中高亮标记与所述第二字符匹配的第一字符;根据显示的样本文本中与所述主题词部分匹配的字符获取扩展词;
确定与所述本体表达式关联的本体节点;
根据本体节点的信息确定所述待分类文本所属的类别。
5.根据权利要求4所述的文本分类方法,其特征在于,确定文本分类器中与所述待分类文本匹配的本体表达式的步骤包括:
当本体节点关联的本体表达式多于一个时,并行判断所述待分类文本是否与本体表达式匹配。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京神州泰岳软件股份有限公司,未经北京神州泰岳软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710779864.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种数据挖掘方法及系统
- 下一篇:知识图谱构建方法和系统