[发明专利]基于kubernetes深度神经网络模型的分布式分类方法

说明书

本发明涉及一种基于kubernetes深度神经网络模型的分布式分类方法，属于深度学习和云计算领域。S1：获取数据集，对数据集进行标注，进行标准化处理，数据分为训练集和测试集；将标准化处理后的训练集输入多个不同的深度神经网络模型进行训练；输入测试集获取对应模型的准确率，根据准确率高低分配权重；S2：模型部署；采用kubernetes容器编排系统，合理部署分类模型。本发明使用容器技术，解决了深度神经网络模型推理延迟较大的问题，同时利用集成学习的思想，使得模型的推理能力更强。

技术领域

本发明属于深度学习和云计算领域，设计一种基于kubernetes深度神经网络模型的分布式分类方法。

背景技术

深度是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法，随着深度学习的发展，在分类任务中基本上使用深度学习模型。

深度神经网络模型虽然在分类任务中表现优越，但是随着深度神经网络模型的发展，模型的参数量不断增多，技术资源要求越来越大，实际部署应用较为困难。

深度神经网络模型对多属性数据集进行分类时，很少去关注属性组合，而将特征属性直接输入到深度神经网络训练模型，再用训练好的模型进行样本分类。比如目前十分流行的一些深度神经网络，由于其参数量大，以及获取模型难度较高，实际部署模型的效果并不是很理想。

发明内容

有鉴于此，本发明的目的在于提供一种基于kubernetes深度神经网络模型的分布式分类方法，解决深度神经网络模型推理延迟较大的问题，同时借鉴集成学习的思想，使得模型的推理能力更强。

为达到上述目的，本发明提供如下技术方案：

一种基于kubernetes深度神经网络模型的分布式分类方法，包括以下步骤：

S1：模型训练；

S11：获取数据集，在这里可以是任一待分类数据集；

S12：对数据集进行标注；

S13：将数据集进行标准化处理，然后分为训练集和测试集；

S14：将标准化处理后的训练集分别输入n个不同的深度神经网络模型进行训练，得到模型f₁,f₂,f₃,...,f_n；即使用多个深度学习模型综合判断同一份数据集。

S15：输入测试集获取对应模型的准确率，根据准确率高低分配权重W₁,W₂,W₃,...,W_n；

S2：模型部署；

在部署之前建立kubernetes集群，master管理多个worker的node，多个pod运行tensorflow serving，pod的部署可以根据具体的资源情况部署；所有的资源通过service建立连接；训练好的n个深度神经网络模型部署在tensorflow-serving里面；外部通过api访问tensorflow-serving，获取推理结果。

S3：实时数据测试，获得最终结果，具体包括以下步骤：

S31：获取实时数据；

S32：将获取的实时数据进行标准化处理；

S33：将标准化处理过后的数据，通过访问tensorflow-serving api获取不同的推理结果；

S34：采用加权投票算法(Weighted voting algorithm)，不同模型对实时数据推理得到的结果进行加权求和得到最终的结果。