[发明专利]一种基于粒子图像测速法的多模态视触觉传感系统及方法

说明书

本发明提供一种基于粒子图像测速法的多模态视触觉传感系统及方法，包括：传感器支架；设置于传感器支架上用于与外界物体接触和测力的弹性传感层；设置于传感器支架上并位于弹性传感层下方的光源；设置于弹性传感层的下方的图像采集装置，用于获取外界物体与弹性传感层物体接触前和接触后的图像；处理器，根据图像采集装置反馈的接触前后的图像，利用粒子图像测速方法对触觉传感器中的接触力进行分析和重构，通过弹性传感层表面粒子在不同接触力下的位移场变化来判断接触力的种类并计算大小；利用光度立体算法对物体表面形状进行三维重建。本发明具有准确率高、灵敏度好、工艺简单，算法简便等优点，可适用于机器人触觉感知和生物医学场景。

技术领域

本发明涉及视觉触觉传感领域，具体地，涉及基于粒子图像测速法的多模态视触觉传感系统及方法，适用于用于机器人触觉感知和生物医学场景。

背景技术

接触力测量和表面形貌识别的触感是人机交互和机器人物体操纵领域中最重要的研究热点之一。为了实现微几何感知、目标定位和三维重建，研究者对不同的触觉传感机制进行了研究广泛，例如压阻、电容、压电和光学。光学触觉传感器具有3D可视化、高分辨率和抗电磁干扰能力的突出优点，可以克服其他触觉传感类型不可避免的局限性。基于视觉的传感器是光学触觉传感器的子类别，接触力检测的关键是基于弹性原理，将力与特征变形准确可靠地关联起来，三维重建技术的结合对于视觉触觉传感器在物体接触力的测量具有可观的优化效果。

经过对现有技术文献的检索发现，一般在弹性传感层嵌入点状标记并记录由接触力引起的光强度变化，并提取点状标记的位移以进行有效的接触力检测。Seunghyun Choi，Kenji Tahara等在2020IEEE/SICE International Symposium on System Integration(SII)撰文“Development of a Visual-Tactile Fingertip Sensor and an ObjectManipulation Method using a Multi-Fingered Robotic Hand”(“视觉触觉指尖传感器的开发和使用多指机器人手的物体操纵方法”)(2020年IEEE/SICE国际系统集成研讨会(SII))。该文献中提及一种基于点云虚拟点测量的视觉触觉指尖传感器，原理是通过在计算点云时创建虚拟点测量每个点标记由于接触力而产生的变形。此外，其它文献中采用深度学习和机器学习方法，例如卷积神经网络、延时神经网络和高斯过程。上述文献中触觉传感器的缺点是复杂且耗时的图像处理算法、繁琐的加工工艺，以及在后续研究中的可移植性不足，为实际应用设置了障碍。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于粒子图像测速法的多模态视触觉传感系统及方法。

本发明第一个方面提供一种基于粒子图像测速法的多模态视触觉传感系统，包括：

用于支撑和稳定传感系统整体的传感器支架；

设置于所述传感器支架上用于与外界物体接触和测力的弹性传感层；

设置于所述传感器支架上并位于所述弹性传感层下方的光源，所述光源从三个以上不同方向的照射到所述弹性传感层；

设置于所述弹性传感层的下方的图像采集装置，且所述图像采集装置与所述弹性传感层垂直布置，用于获取物体与所述弹性传感层接触前和接触后的图像；以及分别获取在不同方向照射条件下物体的图像，并将所获取的图像传输至处理器；

处理器，根据所述图像采集装置反馈的接触前、接触后的图像，利用粒子图像测速方法对所述弹性传感层中的接触力进行分析和重构，即通过所述弹性传感层表面粒子在不同接触力下的位移场变化来判断接触力的种类并计算大小；以及根据获取在不同方向照射条件下物体的图像，利用光度立体算法对物体表面形貌进行三维重建。

优选地，所述传感器支架包括：

用于支撑所述弹性传感层的顶层；所述顶层为三角形檐状平台；