[发明专利]一种针对体育运动场景的多视角相机标定方法

说明书

本发明公开了一种针对体育运动场景的多视角相机标定方法，包括以下步骤：搭建多视角相机系统，有效地拍摄体育场景中的人体关键点和场地关键点；采用针孔相机模型，并将相机参数化表示；分别给出场地和人体二维关键点与三维关键点的表示方法；构建关键点提取网络，监督训练关键点提取网络直至收敛；使用训练好的关键点提取网络对视频中二维场地关键点和二维人体关键点进行检测；利用静态场地语义初始化相机内外参数，结合静态场地语义和动态人体语义作为约束，对初始化后的相机内外参数和人体运动进行光束平差优化来获得准确的相机内外参数。本发明使用了场地关键点来初始化相机的内参和外参，具有更好的稳定性和准确性。

技术领域

本发明涉及相机标定及计算机视觉领域，特别涉及一种针对体育运动场景的多视角相机标定方法。

技术背景

多视角相机标定是三维人体重建、动作捕捉和人机交互等许多应用的重要前期工作。随着人工智能等相关技术的不断发展，体育运动训练和体育赛事直播对动作捕获等技术的需求日益增加。而体育场景下的多视角相机标定作为这些具体应用不可或缺的前提条件，也因此成为一个十分重要的问题。目前关注多视角相机标定的技术主要面临两方面的问题。一是传统的相机标定方法依赖棋盘格等特定的高精度标定工具，设备复杂。另一方面是将这些方法应用于多视角大场景时将导致标定流程复杂且速度较慢。因此，利用从RGB图片中检测得到的场景和人体语义信息来构建多视角体育场景下相机内外参数的约束成为一个具有挑战性和亟待被解决的问题。

发明内容

发明目的：本发明提出一种针对体育运动场景的多视角相机标定方法，通过训练一个编解码网络来同时估计RGB图片中的场地关键点和人体关键点；利用场地关键点和一个预定义的三维体育场地模型来获得相机的初始内参和外参；利用二维的静态场地关键点、动态人体关键点和它们对应的三维点进行光束平差优化，获得准确的相机内外参数；通过构建渐进式的优化框架来减少运行时间并提升标定的鲁棒性。

技术方案：本发明所述的一种针对体育运动场景的多视角相机标定方法，包括以下步骤：

步骤1，多视角相机系统搭建，利用硬件触发进行同步采集，有效地拍摄体育场景中的人体关键点和场地关键点；

步骤2，采用针孔相机模型，并将相机参数化表示；

步骤3，给出人体二维关键点和三维关键点的表示方法；

人体二维关键点坐标表示为人体三维关键点坐标表示为其中F是视频的帧数，M是人体关键点数量。

步骤4，给出场地关键点的表示；预定义三维体育场地模型，给出场地二维关键点和预定义的体育场地模型上对应的三维关键点的表示方法；

场地二维关键点坐标表示为预定义体育场地模型上对应的三维关键点坐标表示为其中N是场地关键点数量。

步骤5，构建关键点提取网络，从RGB图片中同时估计场地关键点和人体关键点，通过真值监督训练关键点提取网络直至收敛；

步骤6，使用训练好的关键点提取网络对运动视频中二维场地关键点和二维人体关键点进行检测；

步骤7，利用获得的二维场地关键点和预定义的三维体育场地模型上对应的三维点构建三维-二维之间的对应关系，进而计算出相机的单应性矩阵，并通过转换关系获得相机的初始内参和外参；

步骤8，结合静态场地语义和动态人体语义作为约束，对初始化后的相机内外参数和人体运动进行光束平差优化。

进一步的，步骤2中，采用针孔相机模型，并将相机参数化表示，具体为：

假设：1)相机的畸变为零2)相机X轴和Y轴的焦距相同3)相机的主点位于图像中心。因此相机矩阵可以表示为K[R T]，其中K是相机的内参矩阵，是相机的旋转矩阵和平移矩阵。根据假设，相机的内参K为：