[发明专利]基于自然语言的工业机器人辅助编程方法

权利要求书

1.一种基于自然语言的工业机器人辅助编程方法，其特征在于，步骤如下：

步骤(1)、对输入数据进行预处理；所述的输入数据为语言指令和环境图像，通过使用带LSTM的Bi-RNN提取语言指令的特征，通过F-RCNN处理环境图像，获得目标候选区域；

步骤(2)、采用机器翻译的对齐算法，解析出环境中被语言指令确定的物体即目标物体；所述的对齐算法通过多注意力机制模型完成，多注意力机制模型包括词-物体注意力、指令-物体注意力和物体-物体注意力机制；

步骤(3)、训练多注意力机制模型，识别目标物体在环境中的位置和物体放置点参考特征；

步骤(4)、通过多注意力机制预测参照物位置，并结合语言指令特征，使用蒙特卡洛算法(MCMC)预测目标物体将要被放置的位置，并输出坐标；

步骤(5)、构建可编程逻辑控制器约束的数据库(PLC约束库)和CoBlox模块化编程；

步骤(6)、解析语言指令，使解析结果与PLC约束库和模块化的编程代码相匹配，结合步骤(4)输出的坐标生成最终的机器人辅助代码。

2.根据权利要求1所述的一种基于自然语言的工业机器人辅助编程方法，其特征在于，步骤(1)、对输入的语言指令和环境图像进行预处理；所述的预处理包括使用带有LSTM的Bi-RNN提取语言指令的语言特征和使用F-RCNN预处理环境图像，从而获得目标候选区域特征；具体步骤如下：

1.1、指令编码：将i个单词组成的指令I_i＝{x₁，x₂，x₃，...，x_i}输入RNN网络；通过带有LSTM的Bi-RNN对语言指令进行编码，递归生成隐藏状态序列I_i，然后通过学习函数ψ_x(x_i)将指令映射到固定维度；

I_i＝Bi_LSTM(ψ_x(x_i)，I_i-1) (1)

表示指令均值，I_i是指令的词嵌入表示；

1.2、环境编码：使用F-RCNN对环境图像进行预处理，得到全连接层获取图像候选区域特征：

表示前m个检测框的d维视觉嵌入表示；f_bm是每个物体的空间和性状的特征表示，W_B和a分别是物体的权重和偏差值参数；

通过一个全连接层和一个一维卷积层分别将V和I映射到相同维度：

V＝relu(CONV1d(V_m)) (4)

I＝relu(LINEAR(I_i)) (5)

其中V∈R^n×d是m个对象V＝{V₁，V₂，…，V_m}的集合；I∈R^d是指令的特征。