[发明专利]一种对仓储空间中货物进行远程智能检测的方法及系统

权利要求书

1.一种对仓储空间中货物进行远程智能检测的方法，其特征在于，包括：

构建远程智能检测系统，其包括云端控制平台和至少一仓储空间智能点，每一仓储空间智能点至少包括设置在所述仓储空间现场的一货物盘点小车和边缘算力设备，所述云端控制平台与所述仓储空间智能点进行通信连接；

货物盘点小车完成仓储空间内当前目标货物的视频采集并回传至所述边缘算力设备；

所述边缘算力设备对所述视频分割成以帧为单位的帧图像信息，结合仓库建模后设定的仓位点，边缘算力设备得到盘库视频并分割成帧图像后只取预设仓位点的帧图像为YOLO识别图像，从左到右的视频同一仓位点只取一帧图片用于YOLO检测识别；若仓位点需要上下拍摄才能获取完整货物视频，具体做法是取当前仓位点的上下拍摄所有图片帧，然后利用OpenCV库提供的全景拼接算cv2.createStitcher将上下拍摄的多张图片合并成一张待检测图片，并利用已训练好的YOLO检测识别模型进行检测，检测出所述帧图像中的当前货物类别及数量，再经加合数据处理后，获得所述仓储空间目标货物的实时库存数据；

所述云端控制平台通过边缘算力设备获得所述仓储空间目标货物的当前库存数据。

2.如权利要求1所述方法，其特征在于，包括：全景拼接算法进一步包括：

拼接算法基本原理是检测两张图片的关键点特征(DoG，Harris等)，SIFT，SURF在内计算不变特征描述符，根据关键点特征和描述符对两张图像进行匹配得到若干匹配点，使用Ransac算法和匹配的特征来估计单应矩阵，通过单应矩阵来对图像进行仿射变换，两图像拼接，重叠部分融合得到完整的全景图；

利用已训练好的YOLO检测识别模型进行检测进一步包括：

YOLO的CNN网络将输入的图片分割成S*S的网格，每个单元格负责去检测中心点落在该格子内的目标，每个单元格会预测B个边界框以及边界框的执行度，边界框记为Pr(object)，当边界框包含目标时Pr(object)＝1不包含时Pr(object)＝0，边界框的准确度可以用预测框与实际框(ground truth)的I0U(intersection over union，交并比)来表征，记为IOUtruthpred，由此得到置信度：

边界框的大小与位置可以用4个值来表征：(x，y，w，h)，其中(x，y)是边界框的中心坐标，而w和h是边界框的宽与高，每个边界框的预测值实际上包含5个元素：(x，y，w，h，c)，其中前4个表征边界框的大小与位置，而最后一个值是置信度，每一个单元格需要给出预测出的C个类别概率值表示的是有该单元格负责预测的边界框其目标属于各个类别的概率Pr(classi|object)。因此可以计算出各个边界框的类别置信度：

YOLO使用24个卷积层来提取货物特征，然后使用2个全连接层来得到预测值，以此识别出当前帧图像中所在所有的类别货品和对应的位置信息，通过统计类别为目标货品的个数为当前帧图像中所述目标货品的实际库存信息。

3.如权利要求1或2所述方法，其特征在于，还包括：

所述边缘算力设备可将这些采集的视频传回云端控制平台；

云端控制平台接收所述货物视频并根据随视频一起传回来的参数信息将视频存至对应的监管仓库训练用目录下；

由所述云端控制平台完成所述目标货物的人工标注；

云端控制平台使用标注的货物信息结合YOLO算法训练学习标注货物特征得到所述货物的YOLO检测识别模型；

完成目标货物的YOLO检测识别模型训练，云端控制平台再将对应的算法和训练得到的模型下发到需要进行目标货物检测的对应边缘算力设备上，从而使对应的所述边缘算力设备具备检测识别目标货物的能力；

当训练新的目标货物时，将训练好的YOLO检测识别模型更新至对应的边缘算力设备上。