[发明专利]车内危险行为的检测方法、装置、设备及存储介质

权利要求书

1.一种车内危险行为的检测方法，其特征在于，所述车内危险行为的检测方法包括：

获取目标车辆的车内图像和车内音频数据，所述车内图像包括至少一个乘客；

基于所述车内图像和所述车内音频数据进行危险行为识别；

若所述至少一个乘客存在危险行为，则生成对应的提醒信息，所述危险行为为未系安全带、身体部位伸出车窗或与驾驶员对话；

将所述提醒信息发送至提醒终端，所述提醒信息用于指示所述至少一个乘客存在危险行为。

2.根据权利要求1所述的车内危险行为的检测方法，其特征在于，所述基于所述车内图像和所述车内音频数据进行危险行为识别，包括：

基于所述车内图像进行未系安全带识别，得到第一识别结果；

基于所述车内图像进行身体区域位置识别，得到第二识别结果；

基于所述车内音频数据进行对话识别，得到第三识别结果。

3.根据权利要求2所述的车内危险行为的检测方法，其特征在于，所述基于所述车内图像进行未系安全带识别，得到第一识别结果，包括：

将所述车内图像进行区域分割，得到所述至少一个乘客中每个乘客对应的子区域图像；

将每个乘客的子区域图像进行语义分割，得到每个乘客对应的图像分割结果；

基于每个乘客对应的图像分割结果计算每个乘客的安全带连通域面积；

若所述至少一个乘客中第一目标乘客的安全带连通域面积小于或等于预设连通域面积，则确定第一识别结果为所述第一目标乘客未系安全带。

4.根据权利要求2所述的车内危险行为的检测方法，其特征在于，所述基于所述车内图像进行身体区域位置识别，得到第二识别结果，包括：

将所述车内图像进行灰度化处理，得到灰度化图像，所述灰度化图像包括至少一个车窗；

基于所述灰度化图像计算所述至少一个车窗的灰度值与预设车窗灰度值的差值；

若所述差值大于或等于阈值，则确定所述至少一个车窗存在障碍物；

基于所述车内图像进行人体关键点检测，得到所述至少一个乘客中每个乘客对应的人体关键点集；

若存在第二目标乘客的人体关键点集中任一个人体关键点处于所述至少一个车窗，则确定第二识别结果为所述第二目标乘客的身体部位伸出车窗。

5.根据权利要求2所述的车内危险行为的检测方法，其特征在于，所述基于所述车内音频数据进行对话识别，得到第三识别结果，包括：

对所述车内音频数据进行声纹识别；

若所述车内音频数据存在与预设驾驶员声纹匹配的第一音频数据，且存在与所述预设驾驶员声纹不匹配的第二音频数据，则对所述第一音频数据和所述第二音频数据进行关键词对比；

若所述第一音频数据和所述第二音频数据存在相同的关键词，则确定第三识别结果为所述至少一个乘客与所述目标车辆的驾驶员存在对话。

6.根据权利要求3所述的车内危险行为的检测方法，其特征在于，所述将每个乘客的子区域图像进行语义分割，得到每个乘客对应的图像分割结果，包括：

将每个乘客的子区域图像输入预设的第一卷积核进行卷积分割，得到每个乘客对应的第一特征图像，所述第一特征图像包括子区域图像对应的背景信息；

将每个乘客的子区域图像输入预设的第二卷积核进行卷积分割，得到每个乘客对应的第二特征图像，所述第二特征图像包括子区域图像对应的安全带信息。

7.根据权利要求1-6中任一项所述的车内危险行为的检测方法，其特征在于，所述基于每个乘客对应的图像分割结果计算每个乘客的安全带连通域面积，包括：

基于预设对比规则将每个乘客的第一特征图像和第二特征图像进行对比，得到每个乘客的对比结果；

基于每个乘客的对比结果和预设安全带标记规则，在每个乘客的子区域图像中标记出安全带的像素点；

若在每个乘客的子区域图像中标记出的安全带的像素点形成多个连通域，则将所述多个连通域的面积进行相加，得到每个乘客的安全带连通域面积。