[发明专利]一种自动化深度学习方法、装置及存储介质

说明书

本发明公开了一种自动化深度学习方法，获取数据并对数据类型分析并处理，包括：对所述数据进行出分时间压缩处理，得到压缩后的数据；对所述压缩后的数据进行如下步骤的集成学习；所述的集成学习包括自适应步骤，基于数据类型对数据的处理进行自动模型选择或自适应参数设置；其中，确定数据是语音和文本数据，则选择自动模型；确定数据是图像、视频和/或表格数据，则使用自适应参数设置。本发明采用自适应策略，选择最优模型或参数，从而提高结果。

技术领域

本申请涉及深度学习和机器学习领域，具体而言，涉及一种自动化深度学习方法。

背景技术

NeurIPS，全称神经信息处理系统大会(Conference and Workshop on NeuralInformation Processing Systems)，是全球最受瞩目的AI、机器学习顶级学术会议之一。历来，NeurIPS竞赛单元都被誉为AI界的华山论剑，汇聚了全球AI顶尖力量决战技术之巅。深度学习DeepLearning近年来飞速发展，在多个领域中获得了显著效果提升，但是深度学习技术实现仍然需要大量的专家经验和人工成本，因此自动深度学习系统AutoDL受到了学术及工业界的广泛关注，AutoDL对快速推动落地应用和理论发展都具有重大意义。此次AutoDL Challenge竞赛堪称史上最难，旨在让参赛选手设计开发出能解决包括图像、视频、语音、文本和结构化表格数据等多模态、多领域的全自动多标签分类系统。

挑战赛分为两个阶段，包括Feedback反馈阶段、Final最终阶段。在反馈阶段，参赛选手基于24个训练数据集，离线开发自己的AutoDL程序，实现训练数据处理、模型结构设计、参数调校等过程。然后将自己的AutoDL程序代码上传到比赛平台上，通过另外5个线上私有数据集测试，得到程序性能的即时反馈。在最终阶段，参赛选手的AutoDL程序在无任何人工干预的前提下，通过10个私有数据集进行评估。最终阶段多轮评估的平均排名将决定获胜者。

发明内容

1、本发明的目的

本发明为了解决多数据、多模态、多领域的全自动多标签分类的问题，而提出了一种自动化深度学习方法。

2、本发明所采用的技术方案

本发明公开了一种自动化深度学习方法，获取数据并对数据类型分析并处理，包括

对所述数据进行出分时间压缩处理，得到压缩后的数据；

对所述压缩后的数据进行如下步骤的集成学习；

所述的集成学习包括自适应步骤，基于数据类型对数据的处理进行自动模型选择或自适应参数设置；其中，确定数据是语音和文本数据，则选择自动模型；确定数据是图像、视频和/或表格数据，则使用自适应参数设置。

优选的，所述的图像和视频数据采用深度学习方法依次进行数据处理、深度学习模型训练与测试、结果融合得到处理后的图像和视频数据，其中，在所述模型训练与测试部分根据所述的模型训练后的验证集上结果进行早停然后测试。

优选的，所述的语音和文本数据则采用机器学习和深度学习结合的方法，所述的语音数据处理，包括数据处理步骤和模型处理步骤；文本数据处理采用AutoNLP框架得到处理后的文本数据，包括数据预处理、训练和验证数据生成；表格数据处理采用机器学习方法；模型处理包括模型选择、模型训练，模型预测和结果融合，得到处理后的表格数据。

优选的，所述的文本数据，采用AutoNLP框架，对所述文本数据处理包括自动清洗与序列化、自动特征工程、自动超参调优、自动模型融合以及自动模型选择。

为了平衡精度和效率，所述的图像和视频数据根据需求采取对应的深度学习算法采用自适应参数训练得到深度学习模型，深度学习模型包括目标检测深度学习模型、实例分割深度学习模型，；所述自适应参数包括输入图像大小、每个epoch的步长，以及开始验证和融合结果的epoch数。