[发明专利]计算引擎的监控方法、装置、电子设备及存储介质

说明书

本发明涉及数据监控领域，揭露了一种计算引擎的监控方法，包括：定时采集计算引擎的资源消耗信息，将资源消耗信息进行可视化操作，得到可视化的资源消耗监控图；获取计算引擎运行时的运行空间的占用率，比较占用率与预设警报值；当占用率大于所述警报值时，根据资源消耗监控图，获取计算引擎的函数及参数；获取用户输入的补丁数据，根据补丁数据，利用一个预先训练的用户行为归纳模型修改所述函数或参数。本发明还涉及区块链技术，所述可视化的数据流程监控图可存储于区块链节点中。本发明还提出了计算引擎的监控装置、电子设备及存储介质。本发明实施例解决目前存在监控计算引擎需要用网页查看、发现问题难以直接修改的问题。

技术领域

本发明涉及数据监控领域，尤其涉及一种计算引擎的监控方法、装置、电子设备及计算机可读存储介质。

背景技术

Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。通常，对计算引擎的资源消耗进行监控可以对计算机命令执行情况进行及时检查，缩小错误发生区域及时发现错误，提出整改意见，有利于对提高资源使用的合理化。

如今监控计算引擎任务的运行时，必须要打开相关网址查看任务运行情况，网页刷新率较慢，而且以网页形式显示运行情况不直观并且难以及时修改。目前存在监控计算引擎还存在用网页查看任务信息、发现问题后难以直接修改的问题。

发明内容

本发明提供一种计算引擎的监控方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决目前存在监控计算引擎用网页查看、难以在网页上直接修改的问题。

为实现上述目的，本发明提供的一种计算引擎的监控方法，包括：

定时采集与所述监控客户端连接的计算引擎的资源消耗信息，将所述资源消耗信息进行可视化操作，得到可视化的资源消耗监控图；

获取所述计算引擎运行时的运行空间的占用率，比较所述占用率与预设警报值；

当所述占用率大于所述警报值时，根据所述资源消耗监控图，获取所述计算引擎运行的函数及/或参数；

获取用户通过所述监控客户端输入的补丁数据，根据所述补丁数据，利用预先训练的用户行为归纳模型修改所述函数及/或参数。

可选的，所述根据所述资源消耗监控图，获取所述计算引擎运行的函数及/或参数，包括：

根据所述资源消耗监控图，查询所述计算引擎运行的函数的代码地址及参数的存储地址；

根据所述代码地址及所述存储地址，调取所述函数及/或参数至所述监控客户端。

可选的，所述根据所述补丁数据，利用预先训练的用户行为归纳模型修改所述函数及/或参数，包括：

利用预先训练的用户行为归纳模型对所述补丁数据进行归纳处理，修改所述监控客户端中运行的函数及/或参数，得到改正函数及/或改正参数；

利用预构建的自动调取权限，将所述监控客户端中的所述改正函数及/或改正参数提取至所述计算引擎中的对应位置，更新所述计算引擎中的所述函数及/或参数。

可选的，所述将所述资源消耗信息进行可视化操作，得到可视化的资源消耗监控图之前，还包括：

获取样本集，并对所述样本集进行量化处理，得到向量化数据；

清洗所述向量化数据，得到清洗数据；

利用所述清洗数据对所述用户行为归纳模型进行预设次数的训练，直到所述用户行为归纳模型的梯度收敛。

可选的，所述利用所述清洗数据对所述用户行为归纳模型进行预设次数的训练，直到所述用户行为归纳模型的梯度收敛，包括：

利用动量算法，选择所述用户行为归纳模型的梯度下降方向；