[发明专利]一种针对体育运动场景的多视角相机标定方法

权利要求书

1.一种针对体育运动场景的多视角相机标定方法，其特征在于，包括以下步骤：

步骤1，多视角相机系统搭建，利用硬件触发进行同步采集，拍摄体育场景中的人体关键点和场地关键点；

步骤2，采用针孔相机模型，并将相机参数化表示；

步骤3，给出人体二维关键点和三维关键点的表示方法；

人体二维关键点坐标表示为人体三维关键点坐标表示为其中F是视频的帧数，M是人体关键点数量；

步骤4，给出场地关键点的表示：

预定义三维体育场地模型，给出场地二维关键点和预定义的体育场地模型上对应的三维关键点的表示方法；

场地二维关键点坐标表示为预定义体育场地模型上对应的三维关键点坐标表示为其中N是场地关键点数量；

步骤5，构建关键点提取网络，通过真值监督训练关键点提取网络直至收敛；

步骤6，使用训练好的关键点提取网络对运动视频中二维场地关键点和二维人体关键点进行检测；

步骤7，利用获得的二维场地关键点和预定义的三维体育场地模型上对应的三维点构建三维-二维之间的对应关系，进而计算出相机的单应性矩阵，并通过转换关系获得相机的初始内参和外参；

步骤8，结合静态场地语义和动态人体语义作为约束，对初始化后的相机内外参数和人体运动进行光束平差优化。

2.根据权利要求1所述一种针对体育运动场景的多视角相机标定方法，其特征在于，步骤2中，采用针孔相机模型，并将相机参数化表示，具体为：

假设：1)相机的畸变为零2)相机X轴和Y轴的焦距相同3)相机的主点位于图像中心；因此相机矩阵可以表示为K[R T]，其中K是相机的内参矩阵，是相机的旋转矩阵和平移矩阵；根据假设，相机的内参K为：

其中f是焦距，w和h是图片的宽度和高度。

3.根据权利要求1所述一种针对体育运动场景的多视角相机标定方法，其特征在于，步骤5中，构建关键点提取网络，通过真值监督训练关键点提取网络直至收敛；具体包括如下步骤：

步骤5.1，构建关键点提取网络

关键点提取网络包括编码器、第一解码器和第二解码器，第一解码器和第二解码器分别用于得到场地和人体的关键点热图；

编码器包括三层卷积级联而成的卷积层、三层Resnet模块、一层卷积层和一层激活函数；第一解码器和第二解码器的结构相同，均包括依次连接的第一基本模块、第二基本模块、一层卷积层、一层激活函数和上采样；编码器中三层Resnet模块的输出均与解码器的第一基本模块、第二基本模块、以及卷积层的输入端连接；第一基本模块和第二基本模块结构相同，均包括依次连接的Resnet模块、卷积层、激活函数和上采样；

步骤5.2，对关键点提取网络进行监督训练；

分别对场地关键点和人体关键点使用对应真值的L2损失进行约束，公式如下：

其中N^s和N^h分别是场地和人体热图的数量，和是估计得到的场地和人体热图，M^s和M^h是从数据集中得到的对应真值热图；||·||表示二范数，L_scene和L_human分别表示场地关键点和人体关键点与对应真值之间的L2损失；

最终，关键点提取网络的训练损失为：

L＝ω₁L_scene+ω₂L_human

其中ω₁,ω₂为权重系数。

4.根据权利要求1所述一种针对体育运动场景的多视角相机标定方法，其特征在于，步骤8中，还构建了渐进式优化结构框架，将视频分成N批，每批包含的帧数相同，一次优化一批，当获得最优解后再把后一批加入优化目标里；重复该过程直到所有帧都完成优化；结合静态场地语义和动态人体语义标定相机的内参和外参。