[发明专利]一种神经网络自动设计系统和方法

说明书

本发明公开了一种神经网络自动设计系统和方法，利用NAS进行有监督VO任务的模型的自动设计，改进NAS和VO两个领域。对于NAS领域，提出了更加通用的NAS框架，能够同时处理空间和时序信息，以适用于视频视觉任务。在VO方面，利用我们的VONAS算法，搜索得到了性能更好，更轻量的网络模型。

技术领域

本发明属于计算机视觉领域的视觉里程计领域，特别是一种神经网络自动设计系统和方法。

背景技术

视觉里程计(Visual Odometry，简称VO)作为自动驾驶和机器人领域的关键任务，旨在从连续帧中估计相机位姿。传统的VO任务是一个典型的几何任务，利用特征点或像素的匹配严格计算得到位姿。而随着CNN(Convolutional Neural Networks,卷积神经网络)和RNN(recurrent neural network，循环神经网络)在视觉任务中的快速发展，越来越多的端到端的网络框架也应用于VO任务中。

在基于深度学习的框架中，VO任务作为视频回归任务，与基于语义的视觉任务(例如图像分类,目标检测)有明显区别。首先，VO任务预测出一个6-DoF(degree of freedom，自由度)的相机位姿，更关注几何特征流而不是语义特征。所以仅仅通过语义信息，例如简单的检测或识别出图像中的物体，无法准确的计算出相机运动。其次，VO任务需要同时处理至少两张图片才能计算相对位姿，关注其对时序特征的提取能力，同时对图像的输入顺序敏感，意味着输入顺序不同，预测结果也不同。

现今常利用神经网络架构搜索(Neural Architecture Search，简称NAS)进行针对VO任务的模型的自动设计，挑选出适合提取几何特征和时序特征的轻量级模型,是一次创新的且极具挑战性的尝试。然而如前文所述，几何特征提取的需求可以通过NAS的模型自动设计解决，但是NAS对时序信息的处理却无能为力。

发明内容

本发明的要解决的是现有NAS无法处理时序信息的技术问题。

为了解决上述问题，本发明提出一种神经网络自动设计系统和方法。

本发明所采用的技术方案是：

一种神经网络自动设计方法，包含超网络结构和controller模型，包括以下步骤：

S1，预备包含视频数据和真实相机位姿数据的视频序列；

S2，从S1的视频序列中抽取视频片段V1，由该视频片段V1组成训练批数据，对超网络结构的每个block操作进行均匀采样，选择出训练批的操作，选择完成后，组成一条路径，该路径为子网络模型，再按时间顺序将V1中相邻两帧图像依次输入该子网络模型，得到图像帧之间的位姿序列，再利用损失函数计算误差，然后更新网络参数，直至损失函数不再下降；

S3，利用controller模型输出每个block选择的操作数，生成子模型的编码，子模型的参数采用S2中迭代后的网络参数，按视频时间顺序从S1的视频序列中抽取视频片段v2与对应的真实相机位姿数据，将v2输入子模型中，得到预测位姿，然后与真实相机位姿进行对比，计算得到片段评价指标，然后重复S3的上述操作，直至抽完整个视频序列，将所有片段评价指标进行计算得到子模型的最终评价指标；

S4，利用S3得到的子模型的最终评价指标，对controller模型参数进行参数更新，重复S3，直至达到设置好的迭代数目或子模型的性能不再提高；

S5，利用controller输出n个子模型，挑出最终评价指标最好的子模型，为最终的输出结果。

作为优选，所述步骤S2中，损失函数为：

其中x为预测位姿和真实相机位姿之间的欧式距离，a和c为控制loss的参数。