[发明专利]通过二维摄像估计乘客状态的方法以及装置

权利要求书

1.一种通过分析车辆的内部图像来检出一个以上乘客状态的方法，其中，该方法包括以下步骤：

步骤(a)、当获取至少一个安装有鱼眼镜头的摄像机拍摄的车辆内部的至少一个2D内部图像时，乘客状态检出装置将所述2D内部图像输入到姿势估计网络，从而使所述姿势估计网络从所述2D内部图像中获取与乘客各自相对应的一个以上的姿势点；

在所述步骤(a)中，所述乘客状态检出装置使所述姿势估计网络，(i)通过特征提取网络输出一个以上的特征张量，其中，所述特征张量与所述2D内部图像相对应，且具有一个以上通道；(ii)通过关键点热图以及部分亲和字段提取机形成与每个所述特征张量相对应，且具有一个以上通道的至少一个关键点热图以及至少一个部分亲和字段；(iii)通过关键点检测器从所述关键点提取一个以上关键点，并通过参照所述部分亲和字段对提取的所述关键点进行分组，从而形成与每个所述乘客相对应的所述姿势点；以及

步骤(b)、所述乘客状态检出装置，(i)通过参照预设的像素角度表格，并以所述车辆的预设基准点为基准，计算与每个所述乘客相对应的所述姿势点的位置信息，并且(ii)通过参照与每个所述乘客相对应的所述姿势点的所述位置信息，检出每个所述乘客状态；

其中，在所述车辆内部安装有以网格单元组成的网格板的条件下，所述像素角度表格是由每个垂直角度以及每个水平角度形成的表格，所述每个垂直角度以及每个水平角度由第一线和第二线形成，并与由所述摄像机拍摄的网格图像上的所述网格单元的每个角落的每个像素相对应，所述第一线连接所述摄像机以及所述网格板的上端中心，所述第二线连接所述摄像机以及所述网格单元的所述每个角落；

在所述步骤(b)中，所述乘客状态检出装置，(i)利用每个所述乘客所对应的所述姿势点中的特定姿势点所在的特定网格单元的角落的所述位置信息，并通过双线性插值法获取所述特定姿势点的特定高度；(ii)利用所述网格单元的所述角落的所述垂直角度以及所述水平角度，并通过双线性插值法获取所述特定姿势点的特定垂直角度以及特定水平角度；(iii)通过参照所述特定高度、所述特定垂直角度以及所述特定水平角度，在由所述车辆的总车轴方向以及总车宽方向形成的平面上分别投影所述基准点以及所述特定姿势点的状态下，获取特定车轴方向距离和特定车宽方向距离，其中，所述特定车轴方向距离是所述投影的基准点与所述投影的特定姿势点之间的距离，所述特定车宽方向距离是从所述投影的基准点向总车轴方向延长的基线与所述投影的姿势点之间的距离。

2.如权利要求1所述的方法，其中，还包括步骤(c)，所述乘客状态检出装置，(i)在所述车辆处于紧急情况时，指示所述车辆的至少一个应用，根据每个所述乘客的状态来启动，从而保护所述乘客，或(ii)通过参照每个所述乘客的情况，分析每个所述乘客的一个以上的行动模式，从而确认每个所述乘客的每个驾驶安全状态。

3.如权利要求1所述的方法，其中，在所述步骤(a)中，所述乘客状态检出装置使所述姿势估计网络，(i)通过特征提取网络输出一个以上的特征张量，其中，所述特征张量与所述2D内部图像相对应，并具有一个以上通道；(ii)通过完全卷积网络对所述特征张量进行完全卷积运算，从而形成一个以上的热图；(iii)从所述热图中获取所述姿势点。