[发明专利]一种基于文本生成视频机器人视觉人机交互方法及系统

权利要求书

1.一种基于文本生成视频的机器人视觉人机交互方法，其特征在于，包括：

获取待识别的文本信息和源图像；

根据文本信息检索动作数据库，选择匹配度最高的动作图像序列；

基于源图像生成模型场景信息，结合匹配得到的参考动作图像序列，基于文本生成视频任务的网络模型，生成满足语义信息并含有源图像场景信息的视频/图像序列；

所述动作数据库至少包含人物块、时间块、状态块和动作块；采用总线型拓扑与树型拓扑结构相结合的检索方式，基于获取的文本信息，首先依据树型拓扑结构在动作数据库的每一个块结构中进行分支检索，分别选择匹配度最高的检索结果，然后对各个块结构中筛选出的检索结果进行融合，得到匹配度最高的参考动作；

所述基于文本生成视频任务的网络模型包括：

人体网格复原模块，被配置为根据输入的源图像和动作数据库匹配到的参考动作图像序列，输出是复原后的3D模型信息；

神经网格渲染模块，被配置为将人体网格复原模块输出的3D模型进行映射，并根据其投影顶点计算变换矩阵，将源图像和动作数据库中检索到的参考图像分离成前景图像和背景图形；

多阶段生成对抗网络模块，被配置为实现合成背景图像并且预测隐藏部分的像素颜色，并在3D模型的基础上进行像素点的补充；

对于接收到的动作数据库匹配到的参考动作图像，人体网格复原模块获得二维图像的卷积特征，然后传递到迭代的3D回归模型中，推断出三维人像建模信息以及相机与二维关节的投影关系；构建包含位姿参数的可微的三维人体模型，利用生成对抗网络结构，判断生成的三维模型是否满足正常人体行为活动；

所述神经网格渲染模块将从人体网格复原模块获得的形体参数通过SMPL模型转化为参考图像的三维模型和源图像的三维模型，通过变换矩阵将源图像三维模型在参考图像的三维模型指导下进行三维形态转换；

所述多阶段生成对抗网络模块在第一阶段通过GAN网络实现对预测部分像素颜点的补充，输出补充后的完整的背景信息图；在第二阶段提取和保留图像特征信息，进行前景图像的生成，将生成的前景图像与第一阶段生成的背景图像进行融合，生成包含前景与背景信息的图像；在第三阶段完成最终图像的合成，生成背景信息补充完整、符合语义一致性的图像，将满足要求的图像按照序列生成满足语义要求的视频；

所述多阶段生成对抗网络模块中，第一阶段、第二阶段和第三阶段的生成模型使用的是残差神经网络与全卷积神经网络的组合，在判别模型中使用的是Pix2Pix中的判别模型的框架结构。

2.如权利要求1所述的一种基于文本生成视频的机器人视觉人机交互方法，其特征在于，所述待识别的文本信息为直接输入的文本信息，或者通过输入的语音信息转化成的文本信息。