[发明专利]图像处理系统、显示装置、图像处理方法、学习完毕模型的生成方法以及学习用数据集

说明书

本发明所涉及的图像获取部从拍摄装置获取搬运物的投下对象映现的拍摄图像。现场位置确定部基于位置确定模型和上述拍摄图像来确定映现在上述拍摄图像中的上述投下对象的规定的部分的在上述现场中的位置。位置确定模型是通过输入图像来输出映现在上述图像中的投下对象的规定的部分的位置的学习完毕模型。

技术领域

本发明涉及图像处理系统、显示装置、图像处理方法、学习完毕模型的生成方法以及学习用数据集。

本申请针对2018年8月31日在日本申请的特愿2018－163670号主张优先权，并在此引用其内容。

背景技术

在专利文献1中公开了通过从由液压挖掘机所具备的拍摄装置拍摄到的图像提取边缘来确定翻斗卡车的卸斗的位置的技术。

先行技术文献

专利文献

专利文献1：日本特开2000－192514号公报

发明内容

发明要解决的课题

然而，有时在存在装载机械的现场中未铺装道路，在地表生成车辙。若从车辙和翻斗卡车映现的图像提取边缘，则除了翻斗卡车的边缘之外，还产生车辙的边缘。因此，在通过专利文献1所记载的技术从拍摄图像确定翻斗卡车的卸斗位置的情况下，由于车辙的存在，有可能无法适当地确定卸斗的位置。

本发明的目的在于提供能够稳健地确定搬运物的投下对象的位置的图像处理系统、显示装置、图像处理方法、学习完毕模型的生成方法以及学习用数据集。

根据本发明的一个方式，图像处理系统具备：数据获取部，获取作业机械的搬运物的投下对象映现的拍摄图像；以及位置确定部，基于位置确定模型和上述拍摄图像来确定映现在上述拍摄图像中的投下对象的规定的部分的位置，上述位置确定模型是通过输入图像来输出映现在上述图像中的上述投下对象的规定的部分的位置的学习完毕模型。

发明效果

根据上述方式，能够使用从图像输出投下对象的规定的部分的位置的学习完毕模型，精度良好地确定投下对象的部分的位置。

附图说明

图1是表示一个实施方式所涉及的装载场的结构的图。

图2是一个实施方式所涉及的液压挖掘机的外观图。

图3是表示第一实施方式所涉及的控制装置的结构的概略框图。

图4是表示卸斗的特征点的例子的图。

图5是神经网络的结构的一个例子。

图6是表示孪生神经网络(Siamese Network)模型的结构的例子的图。

图7是指导信息的一个例子。

图8是表示第一实施方式所涉及的控制装置对指导信息的显示方法的流程图。

图9是表示第一实施方式所涉及的特征点确定模型的学习方法的流程图。

图10是表示第一实施方式所涉及的相似度确定模型的学习方法的流程图。

图11是表示第二实施方式所涉及的控制装置的结构的概略框图。

图12是表示第二实施方式所涉及的控制装置的指导信息的显示方法的流程图。

图13是表示第二实施方式所涉及的立体特征点确定模型的学习方法的流程图。

图14是表示第三实施方式所涉及的控制装置的结构的概略框图。

图15是表示第三实施方式所涉及的控制装置的指导信息的显示方法的流程图。