[发明专利]一种公安领域案件文本的分类方法

说明书

本发明公开了一种公安领域案件文本的分类方法，包括以下步骤：对案件文本进行预处理；建立支持向量机对预处理后的案件文本进行分类；建立基于词典的规则匹配案件分类器；根据决策函数值，对支持向量机分类所得结果置信度低的案件，利用所述基于词典的规则匹配案件分类器进行二次分类，以该分类结果为最终结果。本发明避免了接受置信度低的分类决策结果，提高了分类准确性，满足公安领域案件文本处理的需求。

技术领域

本发明涉及将文本挖掘技术应用于公安领域，特别提供了一种公安领域案件文本分类的方法。

背景技术

随着社会的发展，公安领域的案件信息以每年百万条的速度递增。目前公安部门虽然有完善的案件信息管理系统，可以方便地对案件进行查询、筛选、统计等处理，为警务人员减少了一定的劳动量，但是依靠这些传统方法，很难挖掘出有价值的线索。因此，许多国内外学者在对公安领域中的信息数据挖掘技术进行深入地研究。

公安领域的案件信息都是以文本的形式记录在案的，这些案件文本中包含着重要的线索，关联相似的案件可以有效地帮助案件的侦破和串并案的发现。因此，对案件文本处理的需求越来越迫切，同时要求的精度和准确度也越来越高，尤其是需要对大批案件进行自动识别案件类别。当前运用较为广泛的文本分类方法有朴素贝叶斯分类、k近邻分类、支持向量机模型分类、基于决策树的分类。其中，支持向量机模型分类具有适用于小样本学习，解决非线性问题，解决高维问题和抗干扰强的能力，总体表现出色，它基于结构风险最小化理论之上在特征空间中建构最优分割超平面。

但是，支持向量机模型分类的缺点有：对缺失数据敏感，对样本的预测依赖于训练所得的分类决策函数，根据决策函数的值判断样本更接近哪个类别，即使在该决策的置信度很低的情况下，依然会给出一个结果，尽管这个结果很有可能是错误的。其次，在公安领域案件分类这一特定场景，案件类别存在层次结构，如果仅采用单一层次的分类器，忽视了案件类别的层次关系，会导致分类的准确率低下。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种公安领域案件文本的分类方法。

为解决上述技术问题，本发明所采用的技术方案是：一种公安领域案件文本的分类方法，包括以下步骤：

1)对案件文本进行预处理；

2)建立支持向量机对预处理后的案件文本进行分类；

3)建立基于词典的规则匹配案件分类器；

4)根据决策函数值，对支持向量机分类所得结果置信度低的案件，利用所述基于词典的规则匹配案件分类器进行二次分类，以该分类结果为最终结果。

步骤1)中，案件文本预处理包括以下步骤：

1)进行案件描述内容提取，利用正则表达式匹配的方法，提取“报警称：”之后的文本内容，然后对该文本内容进行分词；

2)对所有案件文本进行分词之后，根据文档频数筛选停用词，满足条件N_td＝70％*N_d的词被列为停用词，其中N_td为包含词t的案件文本数量，N_d为总的案件文本数量；

3)采用TF-IDF公式计算特征词(将文本分词并筛选后得到的词称为特征词)的权重，用以评估各个特征词的重要程度；将所有案件文本经分词、过滤停用词后，用向量的形式对每个案件文本进行表示，向量的每一维表示文本中特征词的权重。