[发明专利]一种基于视觉传感器的台球智能机器人系统

摘要

本发明公开了一种基于视觉传感器的台球智能机器人系统，涉及一种机器人系统，包括客户端、服务器、云存储器、机器人系统和人机交互系统；所述客户端发送指令给所述服务器，所述服务器发送指令给所述机器人系统，所述机器人系统实时上传视频至云存储器，所述云存储器与客户端进行数据交互；所述机器人系统与所述人机交互系统连接以进行数据交互；本发明可以根据实际情况配置控制维度，为企业做到了营销费用精细化管理，本发明还具有使用方便，应用范围广的优点。

主权项

一种基于视觉传感器的台球智能机器人系统，其特征在于：包括客户端、服务器、云存储器、机器人系统和人机交互系统；所述客户端发送指令给所述服务器，所述服务器发送指令给所述机器人系统，所述机器人系统实时上传视频至云存储器，所述云存储器与客户端进行数据交互；所述机器人系统与所述人机交互系统连接以进行数据交互；所述服务器系统：用于信息调度，安排客户端之间的信息交互；所述机器人系统：采集不同球在不同位置和转动角度的情况下图片信息，在图片中提取球的位置信息，并打上相应球的标签，然后输入深度学习的算法框架进行训练，得出不同球的训练模型；所述机器人系统通过相机的图像获取的深度信息，确定其在视野范围内的z轴深度信息，根据相机图像信息(x,y轴)及深度信息(z轴)对球桌面进行三位重建，以球桌的中心作为坐标原定，长度方向作为x轴，宽度方向作为y轴，垂直于平面的方向作为z轴；所述机器人系统将不同球的训练模型加载到检测算法函数中，通过卷积神经网络的算法，对图像信息进行卷积计算，比对全连接层的匹配程度，当匹配度高于阈值k时，则认为此处位置的球与训练模型中的球匹配，从而识别到不同球在图像中的位置信息和其标签号码；所述机器人系统通过内置的算法换算，将不同球在图像坐标系下的位置信息换算为其中pixel为坐标点的像素值，f为焦距，dis为深度相机所测得的距离值，phy为空间坐标系下的位置值；实际空间坐标系下的位置信息(x_phy，y_phy，z_phy)，结合空间三维坐标系将场地分为x,y,z三维轴，即原点(0,0,0)及三轴(w,h,k)的坐标长度范围，求出球在次坐标系下的实际位置信息；所述机器人系统通过时间段的积累，坐标数据(x_phy，y_phy，z_phy)在t(0)—t(n)时刻可形成累积，进而根据这些坐标数据运行拟合函数拟合出此球在t(0)—t(n)时间段内的轨迹；所述机器人系统视觉系统通过内置函数切换录制摄像机，拍摄视频进而捕捉到球员动作、球的位置、运动轨迹以及球速、转速数据，用于球员动作和球运动的三维重建和轨迹拟合。