[发明专利]一种基于大数据的信息管理系统与方法

说明书

本发明提出基于大数据的信息管理方法，包括如下步骤：获取输入数据流，将图像属性数据和文本属性数据按照数据产生时序执行关联，获得多组关联数据流；将当前关联数据流作为深度学习模型的输入；当输出结果满足第一性能条件时，启动第一显存分配进程分配第一显存空间，将下一个关联数据流存贮至第一显存空间；当第一显存空间的显存占用率超过预设的显存容量控制阈值时，启动第二显存分配进程分配第二显存空间，将下一个关联数据流存贮至第二显存空间；判断已经分配的显存空间的总容量是否超过系统控制值，如果是，则将已经分配的显存空间的目标关联数据转移至内存组件。本发明还公开实现所述方法的系统与计算机可读存储介质。

技术领域

本发明属于大数据信息管理领域，尤其涉及一种基于大数据的信息管理方法以及实现所述方法的系统、计算机可读存储介质。

背景技术

在数据膨胀的当今社会里，海量数据中蕴含价值日渐凸显出来。如何有效的挖掘海量数据中的有效信息已经成为各个领域面临的共同问题。以互联网企业为代表的科技公司依据自身的实际需求，开始大量的应用机器学习、数据挖掘以及人工智能等算法获取海量数据中蕴含的信息，并且已经取得了很好的效果。当今社会已经从过去的信息匮乏，转变为信息泛滥的时代。由于网络以及相关应用的不断普及，网络数据逐渐呈现着“海量、高维”的趋势，如何利用已有的机器学习或者数据挖掘的算法，获取有效信息，已经成为学术界以及工业所共同关注的重点。

利用深度学习自动学习特征已经逐步取代了人工构建特征和统计方法。但其中一个关键问题是需要大量的数据，否则会因为参数过多过拟合。但是这个成本非常高昂，因此从海量的大数据流中获取有限数据训练高效的深度学习模型成为需要解决的问题。一个重要的里程碑是转移学习——受人类启发，不是从大量数据中从头开始学习，而是利用少量样例来解决问题。

经检索现有技术，CN111327692A提出一种模型训练方法，在硬件方面，通过将控制节点和至少一个计算节点通过网络互连，在计算节点中引入GPU作为计算资源，从而大幅度提升集群系统的硬件能力，进而提升模型训练的效率。软件方面，通过对slurm框架进行优化，引入客户端、超级管理平台等，使得集群系统用起来更方便；CN112416585A提出一种面向深度学习的GPU资源管理与智能化调度方法，包括以下步骤：第一步，用户通过前端接口组件提交深度学习作业，包括待执行的深度学习程序与训练数据集；第二步，在进行验证后将作业添加到调度器对应的待调度队列；第三步，为该作业启动独立的作业管理器；第四步，向资源管理器申请作业运行需要的计算资源；第五步，对待调度作业进行特征建模与分析；第六步，根据作业特征与集群计算节点特征生成资源调度方案；第七步，按照调度方案将作业调度到指定计算节点上；第八步，作业执行器启动容器并执行深度学习程序。该发明可解决现有集群资源调度方法在深度学习场景下GPU资源利用率低、作业执行性能差的问题。

然而，现有技术均未解决如何从海量大数据流中获取有效关联数据作为训练数据，并将数据执行对应关联便于后续存储读取的问题。

发明内容

为解决上述技术问题，本发明提出一种基于大数据的信息管理方法以及实现所述方法的系统、计算机可读存储介质。

在本发明的第一个方面，提出一种基于大数据的信息管理方法，所述方法包括如下步骤：

获取输入数据流，所述输入数据流包括图像属性数据和文本属性数据；

将所述输入数据流中的图像属性数据和文本属性数据按照数据产生时序执行关联，获得多组关联数据流；

将当前关联数据流作为深度学习模型的输入；

当所述深度学习模型的输出结果满足第一性能条件时，启动第一显存分配进程分配第一显存空间，将下一个关联数据流存贮至第一显存空间；

当所述深度学习模型的输出结果不满足第一性能条件，抛弃当前关联数据流，将下一个关联数据流作为当前数据流。