[发明专利]多模态目标检测方法、装置、扫地机及存储介质

权利要求书

1.一种多模态目标检测方法，其特征在于，所述多模态目标检测方法包括：

获取扫地机当前所在位置对应的环境图像；

提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果，其中，所述环境识别结果包括光亮环境和黑暗环境，所述特征信息包括目标区域对应的灰度平均值、光线强度、亮度平均值及亮度分布结构；

若所述环境识别结果为黑暗环境，则获取所述黑暗环境对应的目标待检测图像；

基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果，其中，所述多模态目标检测模型为基于预先获取的不同模态的待训练图像进行迭代训练获得；

所述若所述环境识别结果为黑暗环境，获取所述黑暗环境对应的目标待检测图像的步骤包括：

若所述环境识别结果为黑暗环境，则开启预设灰度图通道，以获得所述黑暗环境下对应的灰度图像；

对所述灰度图像进行预处理，并将预处理后的灰度图像作为所述黑暗环境对应的目标待检测图像。

2.如权利要求1所述的多模态目标检测方法，其特征在于，所述提取所述环境图像中目标区域对应的特征信息计算所述环境图像中目标区域对应的灰度平均值，以识别当前扫地机所处的环境，获得环境识别结果的步骤包括：

对所述环境图像进行对角连接，获得对角连接线；

确定所述对角连接线覆盖所述环境图像的目标区域，并计算所述目标区域的灰度平均值；

将所述灰度平均值和预设像素阈值进行比较，获得所述环境识别结果。

3.如权利要求1所述的多模态目标检测方法，其特征在于，在所述提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果，其中，所述环境识别结果包括光亮环境和黑暗环境的步骤之后，所述多模态目标检测方法还包括：

若所述环境识别结果为光亮环境，则将所述环境图像作为所述光亮环境对应的目标待检测图像，以执行步骤：基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果。

4.如权利要求1至3任一所述的多模态目标检测方法，其特征在于，所述基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果的步骤包括：

将所述目标待检测图像输入所述多模态目标检测模型，以对所述目标待检测图像进行目标检测，获得所述目标待检测图像中检测框的目标对象以及位置信息；

将所述目标对象与预设物体类型进行概率计算，确定所述目标对象对应的对象类型；

将所述目标对象对应的对象类型以及位置信息作为所述目标检测结果。

5.如权利要求1所述的多模态目标检测方法，其特征在于，在所述基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果，其中，所述多模态目标检测模型为基于预先获取的不同模态的待训练图像进行迭代训练获得的步骤之前，所述多模态目标检测方法还包括：

获取待训练目标检测模型；

获取待训练图像样本，其中，所述待训练图像样本包括各待训练图像组，各所述待训练图像组均包括第一图像和第二图像且所述第一图像和所述第二图像为不同环境下的图像；

对所述第一图像和所述第二图像进行多模态数据对齐处理，并将数据对齐处理后的图像进行预处理操作，获得目标训练图像样本；

基于所述目标训练图像样本，对所述待训练目标检测模型进行迭代训练优化，获得所述多模态目标检测模型。

6.如权利要求1所述的多模态目标检测方法，其特征在于，所述目标检测结果包括目标待检测图像中目标对象对应的对象类型以及位置信息，在所述基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果的步骤之后，所述多模态目标检测方法还包括：

当所述目标对象对应的对象类型为所述扫地机需躲避目标，则根据所述位置信息，控制所述扫地机执行自动避障策略，以优化路径规划完成清扫任务。