[发明专利]减小移动设备端神经网络模型更新的传输消耗的方法

说明书

本发明公开了一种减小移动设备端神经网络模型更新的传输消耗的方法，它包括有步骤1、移动设备选择预测的图片信息上传到云端进行再学习，能减少上传数据消耗代价且不影响再学习带来的性能提升。步骤2、在云端，利用移动设备上传的新数据，混合旧数据集组成更大的训练集，重新训练神经网络模型，实现对新数据的学习；避免神经网络的增量学习中的灾难性忘记问题；步骤3、在云端提取新模型中少量权重，传送到移动设备中，更新已部署到移动设备上的旧模型，使移动设备上的旧模型能达到新模型的识别性能；减少更新移动设备中旧的神经网络模型时的数据传输代价。本发明的技术效果是，有效地减少移动设备端神经网络模型更新的传输消耗代价。

技术领域

本发明属于移动设备的共享技术领域，具体涉及一种减小移动设备端神经网络模型更新的传输消耗的方法。

背景技术

神经网络包括卷积神经网络，循环网络等。目前，神经网络已经应用于语音识别、图像识别和自然语音处理等不同的大规模机器学习问题中，同时，以智能手机、智能硬件、车载电脑等为代表的移动智能终端使用这类先进的神经网络成为必然趋势。然而，由于神经网络具有计算量大、内存消耗大等特点，移动端使用和训练神经网络不能承担，为了实现移动端使用神经网络，工业界一般采用云端协助的方式：通过将识别、分类等智能任务传送到云端执行，然后将结果返回到移动终端。但是，这种方式需要设备实时地上传数据到云端以及从云端下载结果，因此存在的网络延迟和大量的带宽消耗。

基于神经网络模型的移动设备智能化得到了包括学术界、Google、Facebook、Apple、百度等超级互联网公司以及高通、华为、ARM等终端硬件制造商在内的智能终端全产业链上下游机构的广泛关注和支持。目前，Github中的一些移动设备中使用了神经网络技术。

虽然移动终端能执行神经网络，但移动终端仍然需要云端强大服务器完成神经网络的训练，因此移植到移动端的神经网络模型被固化，失去了再学习能力。

术语：新数据是指本次移动设备上传的数据；

旧数据是指本次传送之前云端所存储的数据；

旧模型是指更新之前的神经网络；

新模型是指已更新的神经网络。

发明内容

针对现有移动设备端神经网络存在的问题，本发明所要解决的技术问题就是提供一种减小移动设备端神经网络模型更新的传输消耗的方法，它通过收集新的数据以及重训练网络的方式，实现对新数据的学习，且通过选择预测置信度低的新数据以及提取新模型中少量的权重的方式减少模型更新所带来的数据传输消耗。

本发明所要解决的技术问题是通过这样的技术方案实现的，它包括以下步骤：

步骤1、移动设备选择预测置信度低的数据上传到云端；

神经网络对数据进行预测时，输出预测数据所属多个类别的概率，这些概率表示预测数据的每一类别的置信度；选择其中最高概率类别作为所属的最终类别，当输出的类别概率都较小时，神经网络对预测数据的类别判断很不确定，需要进一步学习该预测数据，所以本步骤选择上传置信度低的预测数据到云端，能减少上传数据传输消耗；

步骤 2、在云端，利用移动设备上传的数据，混合旧数据集组成更大的训练集，重新训练神经网络模型，实现对新数据的学习；

本步骤利用增量学习的方法，通过混合新旧数据组成的更大的数据集，避免神经网络的增量学习中的灾难性忘记问题；通过重训练深度卷积网络，生成识别性能更高的新的神经网络模型，

步骤3、在云端提取新模型中少量权重，传送到移动设备中，更新已部署到移动设备上的旧模型，使移动设备上的旧模型能达到新模型的识别性能；

根据神经网络权重特性，提取新的神经网络模型相对于旧模型的变化大的权重，将该权重传送到移动设备上来更新旧模型，减少更新移动设备中旧模型时的数据传输代价。