[发明专利]一种数据的处理方法、系统、计算机设备和存储介质

说明书

本申请涉及一种数据的处理方法、系统、计算机设备和存储介质。所述方法包括：通过数据源采集目的数据流；对所述目的数据流进行预处理，将所述目的数据流转化为统一数据交换格式的文本数据；对所述文本数据进行深度机器学习后构建行业知识图谱，分布式存储所述行业知识图谱；根据对所述行业知识图谱的产品需求，输出数字化产品。通过该方法，基于大数据的处理、人工智能为支撑进行的系统重构，优化原有的业务流程，对系统的功能模块进行重新划分，重新定义了数据处理中新产品的开发，利用大数据分布式存储技术的多备份和弹性扩展等技术特点，保证了数据的安全性，便于系统维护，存储容量的扩充和性能升级。

技术领域

本申请涉及大数据领域，特别是涉及一种数据的处理方法、系统、计算机设备和存储介质。

背景技术

现有的数据处理平台涵盖报告、新闻的撰写、质控、发布等各环节，是生产管理功能的一套在线协同办公系统，能为前台网站提供数据支撑，但是该平台系统已经运行多年，随着业务的发展，在数据处理能力、用户开放性能、数据独立性等方面已经不能满足业务发展要求，因此，提出了新的大数据处理平台的项目建设需求。

另一方面，由于传统数字处理系统需要从数据的收集、分析、整理再到输出运用，每一步的业务流程需求的人员需具备的技术知识差异大，其中数据分析相关业务人员需具备较高的技术知识，这导致整个数据处理流程成本高。例如，针对现在内容数据型行业如传媒业、产业研究行业的数据处理时，由于数据格式不一、标准不一，无法进行综合利用，没有使数据发挥出更大的价值。此外，传统的存储式技术由于它的不分布式架构不能加服务器，针对海量数据的处理时需要停机升级服务器，因此传统的数据处理系统针对海量大数据的存储读写存在性能不足的问题，无法快速的对海量数据进行有效的处理。

发明内容

基于此，有必要针对上述技术问题，提供一种数据的处理方法、系统计算机设备和存储介质。

第一方面，本发明实施例提供了一种数据处理的方法，包括以下步骤：

通过数据源采集目的数据流；

对所述目的数据流进行预处理，将所述目的数据流转化为统一数据交换格式的文本数据；

对所述文本数据进行深度机器学习后构建行业知识图谱，分布式存储所述行业知识图谱；

根据对所述行业知识图谱的产品需求，输出数字化产品。

进一步的，所述目的数据流的采集包括利用网络爬虫技术获取浏览器页面和数据接口的入口数据，所述入口数据包括非结构化数据、半结构化数据和结构化数据；所述网络爬虫技术至少包括分布式爬虫技术、智能爬虫技术和反爬虫技术。

进一步的，所述对所述目的数据流进行预处理包括：对所述目的数据流进行自然语言的处理，完成对所述目的数据流的情感分析，并对所述目的数据流进行摘要和标签关键词提取。

进一步的，所述行业知识图谱的构建包括：对所述结构化数据直接转化为图谱结构；对所述非结构化数据和所述半结构化数据先进行实体关系标注，结合深度学习算法进行三元组的提取，并基于行业本体数据库和行业应用的知识库，进行数据的融合对齐，去除重复后保存于图形数据库中。

进一步的，输出的所述数字化产品至少包括：专家问答系统界面、可视化搜索分析系统界面、信息推荐系统界面。

另一方面，本发明实施例还一种数据处理系统，包括：

数据采集模块，用于通过数据源采集目的数据流；

数据预处理模块，用于对所述目的数据流进行预处理，将所述目的数据流转化为统一数据交换格式的文本数据；

数据体系构建模块，用于对所述文本数据进行深度机器学习后构建行业知识图谱，分布式存储所述行业知识图谱；