[发明专利]一种用于数字人和实体的虚实融合方法及系统

说明书

本发明公开了一种用于数字人和实体的虚实融合方法及系统，属于增强现实技术领域，该方案实现将数字人和实体机机械结构的虚实融合。首先对实体机械结构进行骨骼建模，确定实体机械结构各个关节的属性，将每个关节部位进行建模，形成实体机械结构的三维骨骼模型。将虚拟数字人形象进行骨骼重定向，骨骼重定向过程具体为：调整已有的虚拟数字人形象的骨骼的大小、方向，使重定向后的虚拟数字人形象和实体机械结构的三维骨骼模型相匹配。将实体机械结构与虚拟数字人形象叠加，控制虚拟数字人形象和实体机械结构的各个关节对应位置，同时、同步地发生变化，实时判断虚拟数字人形象与实体机械结构的三维骨骼模型是否相匹配，若不匹配则实时调整。

技术领域

本发明涉及增强现实技术领域，具体涉及一种用于数字人和实体的虚实融合方法及系统。

背景技术

数字人提供视觉的交互属性，而机械系统提供动觉的交互属性。将视觉和动觉进行有效地虚实融合，可以在渲染更加真实的虚拟形象的同时，保留实体机械结构的动觉优势。在视觉方面，数字人可以更加真实的渲染人物形象，并且交互形象可变，能够提供交互的情感属性，省去了设计制作类人机器人的繁琐过程。在动觉方面，依旧保留了实体的机械结构部分，可以提供触觉交互，并可以和用户协作完成任务。

申请号为CN202010302983.X的专利公开了一种虚实融合的人机协作仿真方法和系统，其技术方案为：根据人体三维姿态信息和数据手套的返回结果，计算得到人体、手臂和手部的三维位姿序列和对应的施力信息；结合人体、手臂和手部的三维位姿序列和对应的施力信息，以及虚拟机器人模型运动仿真结果，基于碰撞检测算法和物理仿真算法，检测得到虚拟机器人和人体三维姿态序列间的位置交互信息和力交互信息，对人机协作过程进行仿真分析。该发明能够进行人机协作研究中各种控制算法的验证和实验，实验人和机器人间的交互、碰撞、力、动作协调性等内容；更贴近现实场景，能够真实反映人体运动，在避免建立复杂的模型的同时，还具备确保人体安全、人能够真正感受协作过程、仿真更加准确等的优点。该系统并非基于实体的虚实融合技术，无法产生任何的力反馈，不具备用于交互的能力。用户所看见均为虚拟形象，在交互过程中虽然提供了视觉属性，但不具备任何的动觉属性，用户无法触摸到虚拟形象，也无法与虚拟形象合作完成任务。虚实融合的技术纯粹依靠动力学建模，并非基于实体的虚实融合技术。

申请号为202110109325.3的专利公开了一种基于增强现实技术的工业机器人快速精准示教系统及方法，系统包括实体工业机器人、二维码和增强现实眼镜；实体工业机器人包括工业机器人本体与机器人控制器；增强现实眼镜识别工业机器人本体上的二维码，利用识别的二维码位姿，生成与真实机器人重合的虚拟机器人模型；增强现实眼镜连续捕捉虚拟机器人模型的末端位姿，并实时求解机器人各关节轴的转角，同步更新机器人虚拟模型；各关节转角传输至机器人控制器，机器人控制器根据各关节转角控制工业机器人本体关节转角运动。该发明有助于提高机器人的示教速度，采用基于标志物的三维注册跟踪模块，提高了示教精度，对工业制造加工领域具有较强的借鉴意义。该发明是基于实体的虚实融合技术，但并未将虚拟形象叠加到机械结构上。在交互过程中虽然提供了动觉属性，但不具备任何的视觉属性。使用者通过显示设备观察到的仍然是相同的工业实体机器人，在虚拟环境中并非映射为另一个不同的形象。

因此目前缺少一种能够将人与数字-实体融合机器人的交互方案。

发明内容

有鉴于此，本发明提供了一种用于数字人和实体的虚实融合方法及系统，集合了数字人和人形实体机器人的优势，实现高效、智能化的人机交互模式。

为达到上述目的，本发明的技术方案包括如下步骤：

步骤一、对实体机械结构进行骨骼建模，确定实体机械结构各个关节的属性；属性包括长度、大小和朝向；实体机械结构包含至少一个关节，其中关节包含至少一个轴和至少一个连杆，连杆与轴相连实现转动；得知实体机械结构的各关节的空间关系后，可将每个关节部位进行建模，形成实体机械结构的三维骨骼模型。