[发明专利]一种数据的处理方法、系统、计算机设备和存储介质

权利要求书

1.一种数据处理的方法，其特征在于，包括以下步骤：

通过数据源采集目的数据流；

对所述目的数据流进行预处理，将所述目的数据流转化为统一数据交换格式的文本数据；

对所述文本数据进行深度机器学习后构建行业知识图谱，分布式存储所述行业知识图谱；

根据对所述行业知识图谱的产品需求，输出数字化产品。

2.根据权利要求1所述的数据处理的方法，其特征在于，所述目的数据流的采集包括利用网络爬虫技术获取浏览器页面和数据接口的入口数据，所述入口数据包括非结构化数据、半结构化数据和结构化数据；所述网络爬虫技术至少包括分布式爬虫技术、智能爬虫技术和反爬虫技术。

3.根据权利要求1所述的数据处理的方法，其特征在于，所述对所述目的数据流进行预处理包括：对所述目的数据流进行自然语言的处理，完成对所述目的数据流的情感分析，并对所述目的数据流进行摘要和标签关键词提取。

4.根据权利要求2所述的数据处理的方法，其特征在于，所述行业知识图谱的构建包括：对所述结构化数据直接转化为图谱结构；对所述非结构化数据和所述半结构化数据先进行实体关系标注，结合深度学习算法进行三元组的提取，并基于行业本体数据库和行业应用的知识库，进行数据的融合对齐，去除重复后保存于图形数据库中。

5.根据权利要求1所述的数据处理的方法，其特征在于，输出的所述数字化产品至少包括：专家问答系统界面、可视化搜索分析系统界面、信息推荐系统界面。

6.一种数据处理系统，其特征在于，包括：

数据采集模块，用于通过数据源采集目的数据流；

数据预处理模块，用于对所述目的数据流进行预处理，将所述目的数据流转化为统一数据交换格式的文本数据；

数据体系构建模块，用于对所述文本数据进行深度机器学习后构建行业知识图谱，分布式存储所述行业知识图谱；

产品输出模块，用于根据对所述行业知识图谱的产品需求，输出数字化产品。

7.根据权利要求6所述的数据处理系统，其特征在于，所述数据预处理模块还用于对所述目的数据流进行自然语言的处理，完成对所述目的数据流的情感分析，并对所述目的数据流进行摘要和标签关键词提取。

8.根据权利要求6所述的数据处理系统，其特征在于，所述数据体系构建模块包括结构化处理单元和非结构化处理单元，所述结构化处理单元用于将所述结构化数据直接转化为图谱结构；所述非结构化处理单元用于将所述非结构化数据和所述半结构化数据先进行实体关系标注，结合深度学习算法进行三元组的提取，并基于行业本体数据库和行业应用的知识库，进行数据的融合对齐，去除重复后保存于图形数据库中。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。