[发明专利]一种基于内容识别的多源异构情报汇聚协同处理平台

说明书

本发明公开了一种基于内容识别的多源异构情报汇聚协同处理平台，包括：基础环境层、数据资源层、业务处理层和应用服务层，所述基础环境层包括：硬件支撑环境和软件支撑环境，所述硬件支撑环境包括：分布式存储环境和分布式计算环境；数据资源层包括：地图数据、业务数据、全文检索数据、非结构化数据、业务处理中间数据和业务处理结果数据，所述数据资源层为业务处理层提供统一的数据来源与支撑；所述业务处理层包括：多源数据汇集模块、预处理模块和自动监控入库模块；能够很方便的使大量数据具有搜索、分析和探索的能力，支持单位，类型，时间，热点，关键词等多维情报查询，实现近实时地对文档进行全文本搜索，有效提高数据全文检索的效率。

技术领域

本发明涉及情报信息共享协作系统技术领域，尤其涉及一种基于内容识别的多源异构情报汇聚协同处理平台。

背景技术

从国际发展看，随着各国人工智能、大数据、云计算等高新技术在军事领域的融合发展，国防科技情报服务正加速推进传统文献电子化、异构数据整合化、领域知识关联化，未来战争形态逐步由信息化转变为智能化。智能技术与军事情报的一体化发展为美国等发达国家的战略、组织、优先事项和资源分配带来了重大变革。国防领域情报工作已经不再是以往的人工手动搜集处理分析的状态，自动化、智能化已经成为情报发展的必然趋势。

目前，陆军情报系统经过多年建设，初步构建了情报数据传输与处理基础设施，累积了海量的情报数据，类型包括格式化、半格式化、非格式化数据，承载形式包括文本、数据包、图片、视频、高分影像等，对这些类型不一、格式不一、结构不一的数据尚无统一的平台进行有效整合处理。情报数据的集中存储、高效查询、关联运用正成为亟待解决的重要课题。突出表现为以下问题：一是硬件环境薄弱，不能满足数据日益增长的需求。二是数据高度分散，没有形成关联运用能力。三是数据标准不统一，缺少预处理方法和技术。四是深度挖掘不够，尚未发挥海量数据情报价值。五是共享服务能力弱，多样化按需保障能力不够。

基于上述背景，现有业务系统中累积了海量的格式化、半格式化、非格式化情报数据，承载形式包括文本、数据包、图片、视频、高分影像等，对这些类型不一、格式不一、结构不一的数据目前尚无统一的平台进行有效整合处理。传统的整合方式仍然停留在人工程度，大多数依赖于情报处理人员的人工识别判断，包括人工上传、人工分类入库，在数据规模、数据处理的及时性、高效性、准确性上亟待提升。另一方面，以目前累积的海量情报数据的运用情况来看，针对高度分散的情报数据，尚未形成关联运用的能力，数据的深度挖掘不够，尚未发挥海量数据的情报价值，同时，由于不同格式的情报数据很难完成自动分级分类存储，数据规模、质量和应用水平都有待优化，从而导致情报人员获取有效数据的效率较低。

发明内容

本发明克服了现有技术的不足，提供一种基于内容识别的多源异构情报汇聚协同处理平台。

为达到上述目的，本发明采用的技术方案为：一种基于内容识别的多源异构情报汇聚协同处理平台，包括：基础环境层、数据资源层、业务处理层和应用服务层，所述基础环境层包括：硬件支撑环境和软件支撑环境，所述硬件支撑环境包括：分布式存储环境和分布式计算环境。

数据资源层包括：地图数据、业务数据、全文检索数据、非结构化数据、业务处理中间数据和业务处理结果数据，所述数据资源层用于管理与存储业务处理层处理情报过程中产生的中间数据和结果数据，且所述数据资源层为业务处理层提供统一的数据来源与支撑。

所述业务处理层包括：若干个基础模块，若干个所述基础模块包括：多源数据汇集模块、预处理模块和自动监控入库模块；所述应用服务层用于在业务处理的基础上提供全文检索以及情报数据分类展示。

本发明一个较佳实施例中，所述业务处理层还包括：备份模块、文件移动模块、预处理模块、系统核心模块、提取模块。

本发明一个较佳实施例中，所述软件支撑环境包括：MySQL数据库、搜索Elasticsearch引擎、Java/Python开发环境和Docker应用容器引擎。