[发明专利]神经网络模型的训练方法、装置和系统

说明书

本申请公开了一种神经网络模型的训练方法、装置和系统。其中，神经网络模型包括：源域模型和目标域模型，该方法包括：分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型，其中，第一类样本数据为带标签的源域样本数据，第二类样本数据为不带标签的目标域样本数据，源域模型和目标域模型共享相同的网络参数；利用预设损失函数对第一类样本数据和第二类样本数据进行损失处理，得到处理结果；根据处理结果对网络参数进行更新，训练得到神经网络模型。本申请解决了现有技术在对神经网络模型进行训练时存在域分布无法准确对齐的技术问题。

技术领域

本申请涉及计算机领域，具体而言，涉及一种神经网络模型的训练方法、装置和系统。

背景技术

目前，人们可通过神经网络(Neural Network)模型可实现系统辨识、模式识别、智能控制等，神经网络模型的使用为人类的科研以及生活等方面带来了方便。而对神经网络模型的训练通常需要大量的有标记的数据，然而获取大量的标记数据的成本比较高。为了解决该问题，现有技术同时利用其它相似领域(即源域)的已标注的数据样本加上需要学习的领域(即目标域)的未标记的样本，学习在目标域具有较好泛化性的模型，该方法为无监督的域自适应算法。

经典的域自适应算法有深度域混淆(Deep Domain Confusion，简称DDC)网络，以及深度自适应网络(Deep Adaptation Network，简称DAN)。上述两种方法均通过双流卷神经网络分别学习源域和目标域模型，并利用最大均值差异来对齐源域和目标域的特征分布。对于DDC，最大均值差异只在最后一个全连接层使用，而DAN是在所有的全连接层使用核化的最大均值差异。其中，最大均值差异(Maximum Mean Discrepancy，简称MMD)是目前域自适应领域中使用最广泛的一种用于度量两个不同分布之间距离的方法。该方法可将两个特征分布在再生希尔伯特空间中的均值的差异作为两个分布的距离。

然而，上述方法只考虑了全局的对齐，并没有考虑类别等语义信息，从而导致部分对齐，甚至错误的对齐，进而降低了神经网络模型在目标域的泛化性能。例如，在手写数字识别的域自适应中，目标域中数字“2”的特征分布可能会被对齐到源域中数字“3”的特征分布，导致“负迁移”。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种神经网络模型的训练方法、装置和系统，以至少解决现有技术在对神经网络模型进行训练时存在域分布无法准确对齐的技术问题。

根据本申请实施例的一个方面，提供了一种神经网络模型的训练方法，包括：分别将第一类样本数据输入至源域模型以及将第二类样本数据输入至目标域模型，其中，第一类样本数据为带标签的源域样本数据，第二类样本数据为不带标签的目标域样本数据，源域模型和目标域模型共享相同的网络参数；利用预设损失函数对第一类样本数据和第二类样本数据进行损失处理，得到处理结果；根据处理结果对网络参数进行更新，训练得到神经网络模型。其中，神经网络模型包括：源域模型和目标域模型。

根据本申请实施例的一个方面，提供了一种数据处理方法，包括：获取待识别对象；采用神经网络模型对待识别对象进行识别，输出识别结果；其中，神经网络模型包括：第一粒度机器学习模型和第二粒度机器学习模型，第一粒度机器学习模型采用第一类样本数据进行训练，第二粒度机器学习模型采用第二类样本数据进行训练，第一类样本数据为带标签的样本数据，第二类样本数据为不带标签的样本数据，第一粒度机器学习模型和第二粒度机器学习模型至少共享一部分相同的网络参数。