[发明专利]一种警情文本数据分析系统

说明书

本发明提供一种警情文本数据分析系统，主要包括三个模块，即文本数据预处理模块，语义分析模块和应用接口模块，其中文本数据预处理模块能够准确地抽取出需要的信息，并将这些信息进行分词、降噪，经过预处理后成需要的信息格式；语义分析模块主要针对各警情文本建立词向量和文本向量，为后续的应用层提供原始数据；应用接口模块主要针对不同的业务需求提供特征抽取、警情分类业务功能。本发明针对分类处理的多个环节给出了综合的智能解决方案，为进一步提高特征提取系统的效果，提高分类系统的实际应用性能提供了有效的途径。

技术领域

本发明属于计算机应用技术领域，涉及采用语义分析自动进行文本分类及特征提取技 术，特别涉及一种警情文本数据分析系统。

背景技术

公安业务领域目前存在大量历史警情数据，这些数据以纯文本形式存在数据库中，内容 杂乱，并且缺乏结构化信息，如何在大规模的文本异构信息中准确、快速、全面地查找到业 务所需的特定信息，已经成为了一项亟需解决的问题。而文本本身的复杂性,使得自然文本 处理不是一个简单的过程,需要通过综合的策略加以解决。目前的解决方法，主要是通过人 工+规则(关键词或者正则表达式)的方式标注数据，标注和查询效率较低。因此迫切需要 一种方法，改善文本信息杂乱的状况，可以降低查询时间，提高搜索质量，方便用户更加快 速有效地获取到信息内容。

发明内容

本发明的目的是提供一种警情文本数据分析系统，能够自动进行文本分类及特征提取， 不需要人工标注数据，其能自发的学习出词与词之间的相似性和某些概念之间的内在联系。

本发明的技术方案如下：

一种警情文本数据分析系统，其特征在于：主要包括三个模块，即文本数据预处理模块， 语义分析模块和应用接口模块，其中文本数据预处理模块能够准确地抽取出需要的信息，并 将这些信息进行分词、降噪，经过预处理后成需要的信息格式；语义分析模块主要针对各警 情文本建立词向量和文本向量，为后续的应用层提供原始数据；应用接口模块主要针对不同 的业务需求提供特征抽取、警情分类等业务功能。

上述系统中，所述文本数据预处理模块主要通过中文分词技术，将警情文本表示为一个 个词语组成的向量；中文分词技术采用开源的Ansj分词器做为中文分词器。

上述系统中，在分词之后通过降噪对词语列表进行筛选，以获得一个包含关键词而没有 噪音词的词语列表。

本发明针对分类处理的多个环节给出了综合的智能解决方案，通过该方法的实施，为进 一步提高特征提取系统的效果，提高分类系统的实际应用性能提供了有效的途径。

具体实施方式

本系统主要分为三个模块，即文本数据预处理模块，语义分析模块和应用接口模块。其 中预处理模块能够准确地抽取出我们需要的信息，并将这些信息进行分词、降噪，经过预处 理后成我们想要的信息格式。语义分析模块主要针对各警情文本建立词向量和文本向量，为 后续的应用层提供原始数据。应用接口模块主要针对不同的业务需求提供特征抽取、警情分 类等业务功能。

文本预处理模块主要通过中文分词技术，将警情文本表示为一个个词语组成的向量。目 前主流的分词有三种技术，一种是机械式的匹配法，一种是基于统计学计算的方法，最后一 种是基于语义理解的方法。基于多种测试，虽然使用了统计法即机器学习方式的分词器在分 词速度上对比基于字符串匹配法的分词器要慢很多，但是在给定大量训练数据的前提下，增 量训练后效果提升非常显著。同时字符串匹配法一大弊病在于不能识别新生词汇，因此综合 考量之后，本系统采用了开源的Ansj分词器做为中文分词器。