[发明专利]一种用于全息档案的多维度融合方法及系统

说明书

本发明提供了一种用于全息档案的多维度融合方法及系统，属于数据处理技术领域，包括获取待处理数据；其中，所述待处理数据含有特征数据；对待处理数据进行数据分析，其中所述数据分析包括预处理，对象实际可用度调研，以及优化评估；使用分类算法和聚类算法对经过数据分析的数据进行清洗过滤；基于规则自动分词、统计的中文分词、IK分词器实现对数据资源的文本挖掘；将挖掘的碎片化数据进行组装，并得到完整词、句。本发明实现了对所有有特征的数据，数据汇聚之后进行数据挖掘和数据分析整合成具有完整结构化关联数据，设定了固定和动态数据采集标准，简化数据对接过程。本发明还提供一种用于全息档案的多维度融合的系统。

技术领域

本发明属于数据处理技术领域，更具体地说，是涉及一种用于全息档案的多维度融合方法及系统。

背景技术

现有的服务数据具有数据独立，利用率低，检索困难，数据存储各式各样等无法应对多样化，多元化服务。造成资源浪费，用户得到想要的结果耗时过长，检索、存储困难，一次检索无法给出所有信息。

目前数字化正在驱动全球向数字经济时代大踏步迈进，随着云计算、大数据、人工智能和5G等技术的普及，现有的在不同数据、维度、指标分析彼此独立的数据分析工具不再适用。

因此需要一种能打破数据壁垒，数据关联分析容易的用于全息档案的多维度融合方法及系统。

发明内容

本发明的目的在于提供一种用于全息档案的多维度融合方法及系统，旨在解决现有技术中存在数据壁垒，数据关联分析困难的技术问题。

为实现上述目的，本发明采用的技术方案是：提供一种用于全息档案的多维度融合方法，包括以下步骤：

获取待处理数据；其中，所述待处理数据含有特征数据；

对待处理数据进行数据分析，其中所述数据分析包括预处理，对象实际可用度调研，以及优化评估；

使用分类算法和聚类算法对经过数据分析的数据进行清洗过滤；

基于规则自动分词、统计的中文分词、IK分词器实现对数据资源的文本挖掘；

将挖掘的碎片化数据进行组装，并得到完整词、句。

优选地，所述对待处理数据进行数据分析包括：

修正待处理数据的偏差，过滤不规范数据，进行数据的一致性校验；

对数据进行关联获得目标的位置、属性和内容；

进行情景模拟优化；

进行流程贯串优化。

优选地，还包括：在数据资源进行文本挖掘之前，需要对经过清洗过滤的数据进行分类汇集。

优选地，所述对经过清洗过滤的数据进行分类汇集包括：不同数据种类基础数据存储于实时搜索引擎，标签数据存储于分布式存储系统，轨迹数据存储列式存储于数据库、关系数据存储于图数据库。

优选地，所述特征数据包括人、车、物、事件、地址、电话、其他特征数据中的一种或多种。

本发明还提供一种用于全息档案的多维度融合系统，其特征在于，包括：

数据获取模块，用于获取待处理数据；其中，所述待处理数据含有特征数据；

数据分析模块，用于对待处理数据进行数据分析，其中所述数据分析包括预处理，对象实际可用度调研，以及优化评估；

数据挖掘模块，用于使用分类算法和聚类算法对经过数据分析的数据进行清洗过滤；

分词模块，用于基于规则自动分词、统计的中文分词、IK分词器实现对数据资源的文本挖掘；