[发明专利]一种材料辐照损伤多尺度模拟大数据管理系统

说明书

本发明提供一种材料辐照损伤多尺度模拟大数据管理系统，属于高性能计算与大数据管理领域。所述系统包括：预处理层，用于当接收到用户发送的数据时，采用消息中间件Kafka集群作为所述系统的数据缓冲区，并利用Storm集群，以便数据经过处理和分析后存入持久化层的数据库中；持久化层，采用MongoDB+MiniO+MySQL的模式存储不同尺度的模拟数据；业务层，以松耦合的方式对功能模块进行组织；接口层，使用GraphQL的API接口连接前端和后端；应用层，使用Vue的前端架构设计人机交互的Web平台。采用本发明，实现了大规模、多尺度的模拟数据存储，并表现出良好的可扩展性和高并发性。

技术领域

本发明涉及高性能计算与大数据管理领域，特别是指一种材料辐照损伤多尺度模拟大数据管理系统。

背景技术

在材料辐照损伤的模拟过程中，通过使用不同的方法，例如分子动力学方法(Molecular dynamics，MD)，动力学蒙特卡洛方法(Kinetic Monte Carlo，KMC)等来进行多尺度的模拟。材料多尺度模拟过程中产生的数据跨越原子尺度、微观尺度、介观尺度、宏观尺度多个不同的模拟尺度，不仅数目巨大，而且类型丰富，包含数值型、曲线型、图片型以及各种文档类型等。这些数据一般由研究人员分散管理，不利于后续分析和研究。随着模拟规模的不断增大以及多尺度耦合的复杂化，数据量会急剧上升，进而也带来了对海量数据的存储管理、快速查询、数据分析、数据可视化等一系列需求问题。现有的数据管理方式很难胜任这样大数据量的需求。因此，针对不同尺度的模拟，急需设计统一的数据结构，以存储包括原子坐标数据，微结构演化模块数据，模拟结果数据、结果处理数据在内的一系列数据。

另一方面，随着数据规模的扩大，现有的模拟平台面临着性能不足，资源消耗过多等问题，已经无法很好的满足高性能，高并发的需求。而大数据管理系统存储容量巨大且支持大规模数据的复杂计算。因此，如何基于材料辐照损伤模拟数据，运用大数据、云服务等相关技术，搭建相关的大数据系统，从海量的大数据中提取有价值的信息进行合理、有效的利用，为广大的科研工作者提供服务和协助，成为材料领域一个重要的研究方向。

发明内容

本发明实施例提供了材料辐照损伤多尺度模拟大数据管理系统，实现了大规模、多尺度的模拟数据存储，并表现出良好的可扩展性和高并发性。所述技术方案如下：

本发明实施例提供了一种材料辐照损伤多尺度模拟大数据管理系统，该系统包括：

预处理层，用于当接收到用户发送的数据时，采用消息中间件Kafka集群作为所述系统的数据缓冲区，并利用Storm集群，以便数据经过处理和分析后存入持久化层的数据库中；

持久化层，采用MongoDB+MiniO+MySQL的模式存储不同尺度的模拟数据；其中，使用MongoDB集群存储所述系统中的模拟数据，使用分布式对象存储技术MiniO存储用户上传的文件，使用MySQL存储用户信息和系统日志；

业务层，以松耦合的方式对功能模块进行组织；

接口层，使用GraphQL的API接口连接前端和后端；

应用层，使用Vue的前端架构设计人机交互的Web平台。

进一步地，所述预处理层，用于当接收到用户发送的数据时，采用消息中间件Kafka集群作为所述系统的数据缓冲区；其中，若接收到的数据为多尺度的模拟数据，则Kafka集群采用尺度作为主题，对数据进行分类发送，Storm集群按照模拟的尺度从Kafka集群中获取数据，并对数据进行处理和分析，将分析后的数据存入数据库中。

进一步地，所述持久化层，利用“分片+副本集”的架构搭建MongoDB集群。

进一步地，所述MongoDB集群包括：分片节点、配置节点和路由节点；其中，

所述分片节点，用于存储模拟数据；