[发明专利]图像处理方法、装置、电子设备、对弈机器人及存储介质

说明书

本实施例公开了一种图像处理方法、装置、电子设备、对弈机器人和计算机存储介质，该方法包括：获取第一图像，第一图像表示国际象棋的棋盘和各棋子的图像；利用神经网络对第一图像进行处理，确定第一图像中每个棋子的属性数据，属性数据包括检测框、棋子类别和棋子的旋转角度；神经网络是根据样本图像集和标注信息训练得到的；根据每个棋子的检测框在所述第一图像中的位置、以及每个棋子的棋子类别，生成决策信息，决策信息用于指示所述棋盘中的待移动棋子、以及第一图像中待移动棋子的目的位置；根据待移动棋子的旋转角度，确定待移动棋子的抓取角度；控制机械臂以抓取角度抓取所述待移动棋子，并将待移动棋子移动至目的位置。

技术领域

本公开涉及但不限于计算机视觉处理技术，尤其涉及一种图像处理方法、装置、对弈机器人和计算机存储介质。

背景技术

在相关技术中，基于计算机视觉处理技术的对弈机器人具有成本低，精度高，交互性更好的优势，上述对弈机器人可以通过文字识别技术识别中国象棋的棋子，由于国际象棋的棋子上并不存在文字信息，并且，国际象棋的部分棋子并不是中心对称的，不利于抓取棋子；因此，在对弈机器人中，如何识别图像中国际象棋的棋子，并通过机械臂可靠地抓取棋子，是亟待解决的技术问题。

发明内容

本公开实施例至少提供了一种图像处理方法、装置、对弈机器人和计算机存储介质。

本公开实施例提供了一种图像处理方法，该方法可以包括：获取第一图像，所述第一图像表示国际象棋的棋盘和各棋子的图像；利用神经网络对所述第一图像进行处理，确定所述第一图像中每个棋子的属性数据，所述属性数据包括检测框、棋子类别和棋子的旋转角度；所述神经网络是根据样本图像集和标注信息训练得到的；所述样本图像集中的每个图像表示所述棋盘和各棋子的样本图像；所述标注信息包括所述样本图像中棋子的标注的属性数据；根据所述每个棋子的检测框在所述第一图像中的位置、以及所述每个棋子的棋子类别，生成决策信息，所述决策信息用于指示所述棋盘中的待移动棋子、以及所述第一图像中所述待移动棋子的目的位置；根据所述待移动棋子的旋转角度，确定所述待移动棋子的抓取角度；控制机械臂以所述抓取角度抓取所述待移动棋子，并将所述待移动棋子移动至所述目的位置。

在一些实施例中，所述方法还包括：在所述第一图像是图像采集设备采集的图像的情况下，确定所述图像采集设备的相机坐标系与机械臂的基座坐标系的第一变换关系；所述控制机械臂以所述抓取角度抓取所述待移动棋子，并将所述待移动棋子移动至所述目的位置，包括：根据所述待移动棋子的检测框在所述第一图像中的位置、以及所述第一变换关系，确定所述基座坐标系中所述待移动棋子的起点位置；根据所述目的位置、以及所述第一变换关系，确定所述基座坐标系中所述待移动棋子的终点位置；控制所述机械臂在所述起点位置按照所述抓取角度抓取所述待移动棋子，并在所述终点位置放置所述待移动棋子。

可以看出，本公开实施例可以根据待移动棋子的检测框在第一图像中的位置、以及第一图像中待移动棋子的目的位置，分别确定出基座坐标系中待移动棋子的起点位置和终点位置，由于该起点位置和终点位置是基座坐标系中的位置，而基座坐标系是根据机械臂的基座的平面确定的坐标系，因此，有利于机械臂根据起点位置和终点位置准确地抓取棋子和放置棋子；并且，由于机械臂可以在起点位置按照抓取角度抓取待移动棋子，而抓取角度是根据待移动棋子的旋转角度确定的，因此，本公开实施例可以通过机械臂在起点位置更加可靠地抓取国际象棋的棋子，有利于可靠地实现国际象棋的对弈。

在一些实施例中，所述方法还包括：在所述第一图像是双目相机采集的图像的情况下，获取所述第一图像中各摆棋位置的深度信息；所述控制机械臂以所述抓取角度抓取所述待移动棋子，并将所述待移动棋子移动至所述目的位置，包括：根据所述待移动棋子的检测框在所述第一图像中的位置、以及所述待移动棋子所处在的摆棋位置的深度信息，确定三维空间坐标系中所述待移动棋子的起点位置；根据所述目的位置、以及所述目的位置所处在的摆棋位置的深度信息，确定所述三维空间坐标系中所述待移动棋子的终点位置；控制所述机械臂在所述起点位置按照所述抓取角度抓取所述待移动棋子，并在所述终点位置放置所述待移动棋子。