[发明专利]面向多层文本分类的特征选择方法和装置

摘要

提供了一种面向多层文本分类的特征选择方法和装置。所述方法包括：基于CHI-X2和IG的叶节点特征选择、基于改进CHI-X2的分支节点特征选择、基于IG的分支节点特征选择以及组合CHI-X2和IG的分支节点特征选择，其中，基于改进CHI-X2的特征选择能够为相同分支下每个子节点选择更有效的独有特征；组合CHI-X2和IG的分支节点特征选择能够为每个分支节点获取其所有子节点的共有特征；能够获得分支节点的文本特征，并自底向上依次迭代直至当前分支节点为根节点，获得最终的文本特征集合。

主权项

一种面向多层文本分类的特征选择方法，所述方法包括：基于CHI‑X2对多层分类训练文本的各个叶节点所提取的文本特征进行权重计算，并将各个叶节点的文本特征按照权重从大到小的顺序进行排序；基于IG对多层分类训练文本的各个叶节点所提取的文本特征进行权重计算，并将各个叶节点的文本特征按照权重从大到小的顺序进行排序；针对每个分支节点，在基于CHI‑X2的叶节点权重计算的基础上，基于改进的CHI‑X2权重计算公式，对当前分支节点下的所有叶节点的CHI‑X2特征的权重取值进行调整并按照从大到小的顺序进行重新排序，将隶属同一子节点的每个叶节点的前K个位置的CHI‑X2特征汇总以后作为所述每个叶节点所隶属的子节点的CHI‑X2特征，依次将得到的子节点的CHI‑X2特征向所述子节点隶属的上级节点进行汇总迭代，得到当前分支节点的CHI‑X2特征，其中，所述获得分支节点的CHI‑X2特征的步骤从最底层的分支节点开始，自底向上依次迭代直至当前分支节点为根节点，得到所有分支节点的CHI‑X2特征；针对每个分支节点，在基于IG的叶节点权重计算的基础上，将当前分支节点下的所有子节点的IG特征进行汇总，并按照权重从大到小的顺序进行排序，将其结果作为当前分支节点的IG特征，其中，所述获得分支节点的IG特征的步骤从最底层的分支节点开始，自底向上依次迭代直至当前分支节点为根节点，得到所有分支节点的IG特征；针对每个分支节点，基于当前分支节点的CHI‑X2特征和IG特征，从当前分支节点的CHI‑X2特征中删除排在当前分支节点的IG特征中前N个位置的特征，添加排在当前分支节点的IG特征中后M个位置的特征，将新的CHI‑X2特征作为当前分支节点的最终特征。