[发明专利]深度学习的训练数据处理方法和装置

说明书

本申请实施例公开了深度学习的训练数据处理方法和装置。该方法的一具体实施方式包括：获取针对深度学习的中间训练数据的可视化展示请求，可视化展示请求包括所请求展示的深度学习训练作业的目标作业标识；从数据库中读取目标作业标识对应的中间训练数据；根据所读取的中间训练数据，生成目标作业标识所指示的深度学习作业的中间训练数据的可视化图表。该实施方式实现了对深度学习训练过程的中间数据进行自动读取和可视化效果生成，有助于用户更好地优化和调节深度学习模型。

技术领域

本申请实施例涉及计算机技术领域，具体涉及人工智能领域，尤其涉及深度学习的训练数据处理方法和装置。

背景技术

随着深度学习技术的不断发展，深度学习被应用在越来越多的领域。由于深度学习本身比较复杂且不易解释，使用者很难理解训练的过程，只能通过训练结果来评价模型的性能。

为了方便使用者理解训练过程，便于观测训练效果，可以将训练过程的所有数据输出至日志并以文本的方式进行保存和呈现。而现有的文本日志存储方式将训练过程中的所有数据进行保存，不利于对深度学习训练过程的感知和理解，由此可能增加模型调整的难度和训练的时间成本。

发明内容

本申请实施例提出了深度学习的训练数据处理方法和装置。

第一方面，本申请实施例提供了一种深度学习的训练数据处理方法，包括：获取针对深度学习的中间训练数据的可视化展示请求，可视化展示请求包括所请求展示的深度学习训练作业的目标作业标识；从数据库中读取目标作业标识对应的中间训练数据；根据所读取的中间训练数据，生成目标作业标识所指示的深度学习作业的中间训练数据的可视化图表。

在一些实施例中，上述从数据库中读取目标作业标识对应的中间训练数据，包括：从时序数据库中读取目标作业标识对应的时序数据；和/或从对象存储数据库中读取目标作业标识对应的非时序数据。

在一些实施例中，上述方法还包括：获取数据可视化配置信息所指示的深度学习作业的中间训练数据，并存储至对应的数据库中。

在一些实施例中，上述获取数据可视化配置信息所指示的深度学习作业的中间训练数据，并存储至对应的数据库中，包括：响应于检测到数据可视化配置信息所指示的深度学习作业的中间训练数据，获取对应的深度学习作业的中间训练数据并解析，得到对应的深度学习作业标识；将获取的深度学习作业的中间训练数据作为对应的深度学习作业标识的数据项存储至对应的数据库中。

在一些实施例中，上述中间训练数据包括时序数据；以及上述将获取的深度学习作业的中间训练数据作为对应的深度学习作业标识的数据项存储至对应的数据库中，包括：将获取的时序数据存储至时序数据库中对应的作业标识的数据表中。

上述中间训练数据包括非时序数据；以及上述将获取的深度学习作业的中间训练数据作为对应的深度学习作业标识的数据项存储至对应的数据库中，包括：解析接收到的非时序数据，得到非时序数据的数据标签；基于深度学习作业标识和数据标签生成对应的非时序数据的数据索引，将非时序数据添加至对象存储数据库中对应数据索引的数据结构中。

第二方面，本申请实施例提供了一种深度学习的训练数据处理装置，包括：获取单元，被配置成获取针对深度学习的中间训练数据的可视化展示请求，可视化展示请求包括所请求展示的深度学习训练作业的目标作业标识；读取单元，被配置成从数据库中读取目标作业标识对应的中间训练数据；生成单元，被配置成根据所读取的中间训练数据，生成目标作业标识所指示的深度学习作业的中间训练数据的可视化图表。

在一些实施例中，上述读取单元进一步被配置成按照如下方式从数据库中读取目标作业标识对应的中间训练数据：从时序数据库中读取目标作业标识对应的时序数据；和/或从对象存储数据库中读取目标作业标识对应的非时序数据。

在一些实施例中，上述装置还包括：存储单元，被配置成获取数据可视化配置信息所指示的深度学习作业的中间训练数据，并存储至对应的数据库中。