[发明专利]一种基于视触觉融合的目标属性和类别的识别方法

摘要

本发明涉及一种基于视触觉融合的目标属性和类别的识别方法，属于分类技术领域，该方法包括:1)采集作为训练样本的视触觉信息：2)按照不同的训练样本和它们不同的属性，将训练样本分为物体类别i类、属性j类，对每个训练样本抓取并采集触觉信息和视觉图像，建立训练样本数据集；3)对需要进行分类的测试样体进行抓取、采集视觉图像，得到测试样本的触觉信息和视觉图像，建立测试样本数据集，求出触觉时间序列测试集与训练集的动态时间规整(DTW)距离矩阵和视觉图像测试集与训练集的协方差描述子距离矩阵。4)将所有测试样本通过最近邻算法得到每个测试样本的物体、属性类别。本发明在最近邻算法的基础上实现一种精细目标识别的视触觉融合方法。提高了分类的鲁棒性和准确率。

主权项

1.一种基于视触觉融合的目标属性和类别的识别方法，其特征在于，该方法包括以下步骤:(1)采集作为训练样本物体的视触觉信息：设定用于精细目标识别的灵巧手的抓取力矩值为F，F＝2300‑4000N/m，灵巧手手掌的零触觉信号为Z，灵巧手的非零触觉信号为Y，采集训练样本的视觉图像，将训练样本放到灵巧手的手掌上，监测并采集手掌的触觉信息，当监测到手掌的触觉信息为零触觉信号Z时，继续等待触觉信息，当监测到手掌的触觉信息为非零触觉信号Y时，向灵巧手发送一个抓取指令，使灵巧手抓取训练样本，到达上述设定的力矩值F时停止抓取，实时采集抓取过程中灵巧手的手指的触觉信息，得到一个触觉时间序列；(2)设训练样本的个数为N，按照训练样本的物体类别和属性，将训练样本分为i类物体、j类属性，每个训练样本的标签为ci*、cj*，其中1≤i≤N、1≤j≤N，重复上述步骤(1)，遍历所有的N个训练样本，对每个训练样本抓取，采集触觉信息得到触觉时间序列和视觉图像，得到一个1*N大小的触觉训练样本数据集，数据集的表达式为：Str＝[S1,S2,···,SN](3)设测试样本的个数为M，利用上述步骤(1)和步骤(2)的方法，采集每个测试样本的视觉图像，抓取测试样本，得到每个测试样本的触觉时间序列，得到一个1*M大小的触觉测试样本数据集，数据集的表达式为：Ste＝[S1,S2,···,SM](4)设触觉训练样本数据集中，触觉时间序列S_I的长度为T_n，表达式为：其中1≤I≤N，触觉测试样本数据集中，触觉时间序列S_J的长度为T_m，表达式为：其中1≤J≤M，设SI和SJ之间的抓取匹配路径为W，wk＝(v,h)k为抓取匹配路径W中的第k个元素，wK是W的最后一个路径，W＝w1,w2,...,wK，max(Tm,Tn)≤K≤Tm+Tn‑1；根据上述抓取匹配路径W，按照动态时间规整理论，计算得到时间序列SI和SJ之间的最小匹配路径DTW(SI,SJ)为：其中，为K个抓取匹配路径之和；(5)遍历触觉训练样本数据集中的所有触觉时间序列，重复步骤(4)，得到触觉测试样本数据集中的一个触觉时间序列SJ与触觉训练样本数据集中的所有触觉时间序列Str之间的最小匹配路径DTW(SJ,Str),1≤J≤M，表达式为：Str＝[S1,S2,···,SN]DTW(SJ,Str)＝[DTW(SJ,S1),DTW(SJ,S2),···,DTW(SJ,SN)](6)遍历触觉测试样本数据集中的所有触觉时间序列，重复步骤(5)得到触觉测试样本数据集中的所有触觉时间序列Ste分别与触觉训练样本数据集中的所有触觉时间序列Str的最小匹配路径DTW(Ste,Str)，构建一个动态时间规整距离矩阵D：上述距离矩阵D中，D11是Ste中第一个触觉时间序列与Str中第一个触觉时间序列之间的DTW距离，D1N是Ste中第一个触觉时间序列与Str中第N个触觉时间序列之间的DTW距离，DM1是Ste中第M个触觉时间序列与Str中第一个触觉时间序列之间的DTW距离，DMN是Ste中第M个触觉时间序列与Str中第N个触觉时间序列之间的DTW距离；(7)从上述训练样本的视觉图像中提取协方差描述子，得到一个视觉训练样本数据集Rtr，表达式为：Rtr＝[R1,R2,···,RN]，从上述测试样本的视觉图像中提取协方差描述子，得到一个视觉测试样本数据集Rte，表达式为：Rte＝[R1,R2,···,RM]，采用Log‑Euclidean距离dcov(Ro,Rr)，1≤o≤N，1≤r≤M，近似度量视觉训练样本数据集Rtr中的任意一个协方差描述子与视觉测试样本数据集Rte中的任意一个协方差描述子之间的差异，表达式为：dcov(Ro,Rr)＝||logm(Ro)‑logm(Rr)||F，其中logm表示对矩阵求对数；(8)遍历视觉训练样本数据集Rtr中的所有协方差描述子，重复步骤(7)，得到视觉测试样本数据集Rte中一个协方差描述子与视觉训练样本数据集Rtr中的所有协方差描述子之间的Log‑Euclidean距离d，表达式为：d＝[d1,d2,···dN](9)遍历视觉测试样本数据集Rte中的所有协方差描述子，重复步骤(8)，得到视觉测试样本数据集中的所有协方差描述子与视觉训练样本数据集中的所有协方差描述子之间的Log‑Euclidean距离d，构成Log‑Euclidean距离矩阵Dle，表达式为：上述距离矩阵Dle中，d11是Rte中第一个协方差描述子与Rtr中第一个协方差描述子之间的Log‑Euclidean距离，d1N是Rte中第一个协方差描述子与Rtr中第N个协方差描述子之间的Log‑Euclidean距离，dM1是Rte中第M个协方差描述子与Rtr中第一个协方差描述子之间的Log‑Euclidean距离，dMN是Rte中第M个协方差描述子与Rtr中第N个协方差描述子之间的Log‑Euclidean距离；(10)根据上述步骤(6)得到的动态时间规整(DTW)距离矩阵D和步骤(9)得到的Log‑Euclidean距离矩阵Dle，得到第A个测试样本的动态时间规整(DTW)距离A1和Log‑Euclidean距离A2，表达式为：A1＝[DA，1,DA，2,···,DA，N]A2＝[dA，1,dA，2,···,dA，N]分别求出A1和A2中的最小值Da和db，其中1≤a≤N，1≤b≤N，根据最近邻算法，则第a个训练样本的标签ca*即为第A个测试样本的属性，第b个训练样本的标签cb*即为第A个测试样本的类别；(11)重复步骤(10)，得到所有测试样本的属性和类别，完成目标属性和类别的识别。