[发明专利]一种机器学习模型选择方法

说明书

本发明公开一种机器学习模型选择方法，主要包括模型设置、训练测试、模型评估、模型选择、预测推理、模型监控，通过模型选择策略和模型评估结果选出采用的算法模型，模型选择过程分解为资源消耗、性能、业务风险等多个方面，更广泛的覆盖了机器学习模型选择所涉及的必要和关键过程，可以适用于各种类型机器学习算法模型的选择，通用性高。同时采用资源消耗、性能、业务风险等多个维度来作为模型选择的依据，除了使用常规的模型性能，还将工程代价和业务风险引入到模型选择过程，有效保证了算法模型的高工程可用性和低应用风险，实用价值高。

技术领域

本发明涉及计算机技术领域，特别涉及一种机器学习模型选择方法。

背景技术

机器学习是一项影响广泛的技术，它利用智能算法和计算机系统自动提取数据中的价值信息，显著提升系统的决策效率、准确率、实时性等性能。目前机器学习技术广泛应用于社会生产生活的多个方面，例如监控安防、语音助手、医疗诊断、产品质量检测等，带来生产、生活方式的变革。

机器学习包括数据、算法和算力三个要素，机器学习拥有丰富的算法模型，比如逻辑回归模型(Logistics Regression)、支持向量机模型(SVM)、神经网络模型(NeuralNetwork)、决策树(Decision Tree)等，这些算法本质是将数据模型化，并利用训练数据来寻找最优的模型参数，以便准确的表达数据和处理数据。在实际应用中需要选择合适的算法模型，然而，由于不同的机器学习模型可能存在相似的功能或性能，为机器学习的算法模型选择与应用带来了一定的困难。

模型选择通常建立在算法本身性能基础上，比如召回率(Recall)、准确率(Precision)等，但是，这种方式可能忽略了工程和业务等对模型的约束因素，比如计算和存储资源代价、业务风险代价等，可能导致选出的模型存在应用缺陷。

发明内容

本发明提出一种机器学习模型选择方法，旨在实现从算法、工程和业务多维度选择机器学习模型的方法，使其适用于多种目标任务的机器学习算法模型选择。

为实现上述目的，本发明提出的机器学习模型选择方法，包括如下步骤：

步骤S1：模型设置，根据目标任务确定多个候选算法模型的类型，每种类型可包含多个子模型。算法模型记为h_k(x)，设置各算法模型的功能参数，并初始化待训练算法模型h_k(x)的性能参数记为θ_k；K为候选算法模型h_k(x)的总个数；

步骤S2：训练测试，包括模型训练和模型测试，利用训练数据集训练算法模型h_k(x)找出影响算法性能的最优性能参数，得出模型训练性能和训练资源消耗数据序列，训练数据集样本总个数记为M；再利用测试数据集评估该算法模型h_k(x)的泛化能力，得到的模型泛化能力性能指标分别记为：p_k¹，p_k²，…，并得出模型测试的资源消耗数据序列，测试数据集样本总个数记为N；

步骤S3：模型评估，包括资源评估、性能评估、业务评估，根据模型训练和模型测试的资源消耗数据序列，得到资源评估结果，根据模型测试的若干性能指标，得到综合性能评估结果，根据算法模型h_k(x)的测试集预测推理结果和业务风险函数评估算法模型h_k(x)，得到总体业务风险；

步骤S4：模型选择，预先定义模型选择决策，根据模型选择策略和模型评估结果选出采用的算法模型h_k(x)；

步骤S5：预测推理，将选出的算法模型h_k(x)用于实际业务数据的预测推理，并将预测推理结果送入模型监控；

步骤S6：模型监控，通过模型监控实时分析预测结果，并监控异常结果，以便算法模型h_k(x)迭代优化。