[发明专利]基于混合现实技术的实景骑行训练方法

权利要求书

1.一种基于混合现实技术的实景骑行训练方法，其特征在于，所述方法包括以下步骤：

步骤1：实景障碍物检测：利用KITTI、ImageNet、Pascal VOC这三个包含大量上述障碍物的数据集对神经网络进行训练，使用训练后的神经网络对实景中的障碍物做出识别；

步骤2：实景路面分割：BDD、CityScapes中包含了路面分割的训练集，利用这两个训练集训练神经网络，使用训练后的神经网络对实景中的路面进行分割；

步骤3：路径规划：经过步骤1和步骤2的处理之后，得到可行驶的区域，然后结合A*算法做出路径规划；

步骤4：路径拟合：利用最小二乘法对路径规划得到的结果拟合，生成一条平滑的拟合曲线；

步骤5：虚拟人物融合：虚拟人物融合利用虚拟人物的掩膜在图像上做高级图像融合，在多人联网比赛下，根据其余骑行者的距离参数来决定虚拟人物的位置和尺寸，并且根据路径拟合曲线方程的斜率来判断虚拟人物是否需要做出转弯动作；

所述步骤1)中，实景障碍物检测的步骤如下：

步骤1.1：对KITTI、ImageNet、Pascal VOC三个数据集的数据进行相应的数据预处理，将labelImg生成的标签结果xml文件转换为可用于训练读取数据的txt格式；

步骤1.2：利用ImageNet上预训练darknet-53分类模型,使网络能够学习到分类的特征；

步骤1.3：在预训练的darknet-53的基础上，更改神经网络的结构，将darknet-53前52层中的权重提取出，然后采用FPN的upsample和融合做法，最后融合出了三个scale，在三个scale的feature map上做检测；

步骤1.4：在神经网络的输出层，得到三个scale的feature map,每个feature map中的每个grid cell都会输出3个box，每个box中又包含(x,y,w,h,confidence)以及需要分类的类别的概率；

步骤1.5：将KITTI、Pascal VOC数据混打乱之后，以相同的尺寸输入给神经网络，通过小批量训练网络，减少对内存的需求以及加快网络的训练速度；

步骤1.6：计算损失函数，利用数据集中的ground truth与神经网络的预测结果的值来计算损失值，除了w,h的损失函数采用总方差外，其余部分的损失函数用的是二值交叉熵，最后加到一起，组成总的损失函数；

步骤1.7：通过Adam优化器来更新神经网络的权重；

步骤1.8：将训练后的模型在实景视频中运行得到路面上的障碍物区域。

2.如权利要求1所述基于混合现实技术的实景骑行训练方法，其特征在于，所述步骤2中，实景路面分割的步骤如下：

步骤2.1：在BDD与CityScapes训练集中，存在错误标注数据，需要经过一轮手动筛选剔除错误的数据，然后将剩余正确的标注数据整合随机打乱，组成一份新的数据集；

步骤2.2：BDD与CityScapes训练集中的标签图为32位的彩色图，通过对图中像素进行分类，转换成8位的灰度图，才能作为训练样本的标签；

步骤2.3：在残差网络ResNet101上，利用Atrous Convolution代替最后几个最大池化层中的下采样，得到更高像素的score map，但每个像素的感受野并没有减小，然后简单地对特征的响应进行双线性插值恢复到原始图像大小；

步骤2.4：将训练集以设定大小的batch size加载给ResNet101的输入层进行训练并更新卷积核的参数；

步骤2.5：在对实景视视频泛化的过程中，只需要对路面做出分割即可，这样减少后续的计算量以提高程序的运行速度。