[发明专利]鱼眼图像的矫正方法、系统、智能货架以及图像处理方法

说明书

本说明书提供的鱼眼图像的矫正方法、系统、智能货架以及图像处理方法，通过鱼眼镜头拍摄标定有若干条直线的标定平面来获取鱼眼图像与矩形矫正图像之间的映射关系，从而获取矩形矫正图像中的直线对应的鱼眼图像中的弧线之间的映射关系，即第一映射关系；通过所述第一映射关系对鱼眼图像进行矫正，将鱼眼图像映射到成像平面上，获得矫正后的第一矫正图像，并基于第二映射关系对第一矫正图像进行尺度补偿，得到目标矫正图像，以使第一矫正图像中边缘处的物体尺寸增加而中心处的物体尺寸减小，从而使目标矫正图像中边缘处和中心处的物体的尺寸比例更协调，以提升视觉浏览体验。

技术领域

本说明书涉及无人零售领域，尤其涉及一种鱼眼图像的矫正方法、系统、智能货架以及图像处理方法。

背景技术

目前的智能零售无人货柜主要采用视觉识别方案，依靠摄像头获取图像进行商品识别，可以随时监测设备状态，完成静态或者动态商品识别，应用更广泛更普遍。视觉方案主要通过鱼眼镜头作为视觉采集器对货柜中的商品进行检测识别。相比普通镜头，鱼眼镜头的视角更大，在货柜的层高有限的条件下，可以收集到整层货柜的商品的视觉信息。但是鱼眼镜头采集的鱼眼图像边缘畸变大，用户直接浏览鱼眼视图不够直观。现有的畸变矫正方法对鱼眼图像的畸变矫正，使得鱼眼视图边缘出现拉伸，边缘图像信息会超出图像视场范围，达不到理想的视图浏览效果，同时也会对商品识别造成一定困难。而且鱼眼图像的中间畸变较小，边缘畸变较大，相同尺寸物体在图像视场中呈现近大远小效果，现有的畸变矫正方法并不能对此进行改善。

因此，需要提供一种视觉效果更好的鱼眼图像的矫正方法、系统、智能货架以及图像处理方法。

发明内容

本说明书提供一种视觉效果更好的鱼眼图像的矫正方法、系统、智能货架以及图像处理方法。

第一方面，本说明书提供一种鱼眼图像的矫正方法，包括：获取第一映射关系，所述第一映射关系包括M×N的成像平面中的第一像素点位置与其在鱼眼镜头拍摄的鱼眼图像中的第二像素点位置之间的映射关系，其中，所述M为所述成像平面的像素点的行数，所述N为所述成像平面的像素点的列数，所述M和所述N为大于1的整数；获取目标鱼眼图像，所述鱼眼图像包括所述目标鱼眼图像；基于所述第一映射关系，将所述目标鱼眼图像中的像素点投影到所述成像平面中，得到第一矫正图像；以及基于预设的第二映射关系，对所述第一矫正图像进行尺度补偿，将所述第一矫正图像中的像素点投影到所述成像平面中得到目标矫正图像，使得所述第一矫正图像中边缘处的物体放大而中心处的物体缩小，所述第二映射关系包括所述目标矫正图像的第三像素点位置与其在所述第一矫正图像的第四像素点位置之间的映射关系，其中，所述目标矫正图像的所述第三像素点位置距离所述目标矫正图像的中心的距离小于其对应的所述第一矫正图像的所属第四像素点位置距离所述第一矫正图像的中心的距离。

在一些实施例中，所述获取第一映射关系，包括：获取所述鱼眼镜头拍摄的标定平面的鱼眼图像，所述标定平面包括平行设置的L条直线，L 为正整数；基于所述L条直线在所述鱼眼图像中对应的L条弧线，拟合出 L个椭圆曲线，确定所述L个椭圆曲线的长半轴，所述L个椭圆曲线的中心点与所述鱼眼图像的中心重合，且所述长半轴一致；对于所述成像平面的N列像素中的每列像素：基于第i列像素以及所述长半轴，确定所述第i 列像素对应的目标椭圆曲线；以及基于所述第i列像素以及与所述目标椭圆曲线的映射关系，确定所述第i列像素中的每个所述第一像素点位置在所述鱼眼图像中对应的所述第二像素点位置；以及建立所述第一映射关系。

在一些实施例中，所述基于所述第一映射关系，将所述目标鱼眼图像中的像素点投影到所述成像平面中，包括：对于所述成像平面中的每个所述第一像素点位置：基于所述第一映射关系以及当前第一像素点位置，确定其在所述目标鱼眼图像中对应的第二像素点位置；基于所述目标鱼眼图像，确定所述第二像素点位置对应的目标像素值；以及将所述目标像素值赋予所述当前第一像素点位置。