[发明专利]多模型生成对抗网络人机互动图像描述系统的服务机器人

说明书

本发明是一种多模型生成对抗网络人机互动图像描述系统的服务机器人，该机器人包括有：视觉单元，用来记录视觉图像；多模型图像信息模块，用来记录该图像内容所包含对象的各种模型信息；多模型信息描述模块，用来提供该多模型图像信息模块的各种该模型信息的描述信息；计算单元，连接该视觉单元、该多模型图像信息模块与该多模型信息描述模块，通过生成对抗网络，自该视觉单元记录的该视觉图像中提取相关该模型信息放入该多模型图像信息模块中，再根据该模型信息产生相关的该描述信息放入该多模型信息描述模块中；语音单元，连接该计算单元，通过语音输出该描述信息。

技术领域

本发明属于机器人的智能服务应用领域。

背景技术

服务型机器人是未来市场中的一大趋势，在人力资源昂贵且匮乏的情况下，将机器人引进日常生活中便是能有效提升生活便利的一个方式。特别在于，社会存在着许多需要导盲帮助的弱势族群，由于科技进步，导盲机器人逐渐受到企业的高度关注。

传统的导盲机器人只能提供视障者周围是否有人的提醒，但无法判断来员是否与该视障者有所关联，而需由该来员主动对话，才能进行下一步沟通。

为此，要促进人机互动的最佳方式，乃是希望导盲机器人能通过口语的方式，主动提供该视障者有关该来员的信息，才是最符合人类直观的沟通方法。

由于人工智能的发展，利用机器学习来提高导盲机器人的能力，乃为业界发展的主要趋势，由于技术的逐渐成熟，对于环境的识别，已经迈向实用的阶段。

然而，目前的训练方法，只能令机器人发出模糊笼统的语句，并无法调整句子的变化性与自然性，故视障者并无法由导盲机器人发出的语句，判断来员的身份，或是前方人员的动作，而仍需由他人提供协助，无法满足需求。

为此，发明人改善训练方法，采用多模型分析以及生成对抗网络(GAN,GenerativeAdversarial Network)技术学习，得以更精确用自然语言来描述图像，提高语句的变化性与准确性，满足视障者的需求。

发明内容

本发明的目的在于提供一种多模型生成对抗网络人机互动图像描述系统的服务机器人，其利用生成对抗网络结合多模型的学习，而能以自然语言准确与多变化的描述图像，为弱势族群提供有效的帮助。

为了达到以上目的，本发明采用的技术方案是：

一种多模型生成对抗网络人机互动图像描述系统的服务机器人，该机器人包括有：视觉单元，用来记录视觉图像；多模型图像信息模块(Multi-Model Image CaptionModule)，用来记录该图像内容所包含对象的各种模型信息；多模型信息描述模块(Multi-Model Informative Caption Module)，用来提供该多模型图像信息模块的各种该模型信息的描述信息；计算单元，连接该视觉单元、该多模型图像信息模块与该多模型信息描述模块，通过生成对抗网络，自该视觉单元记录的该视觉图像中提取相关该模型信息放入该多模型图像信息模块中，再根据该模型信息产生相关的该描述信息放入该多模型信息描述模块中；语音单元，连接该计算单元，通过语音输出该描述信息。

附图说明

图1为本发明的系统架构图；以及

图2为本发明的方法示意图。

附图标记说明：100-机器人；110-视觉单元；120-多模型图像信息模块；130-多模型信息描述模块；140-计算单元；150-语音单元；160-生成对抗网络；200-图像；300-来员；310-脸部区域；311-身份识别；312-外观信息；320-肢体区域；321-动作识别；322-行为信息；400-视障者。

具体实施方式

参见附图1所示，本发明提供一种多模型生成对抗网络人机互动图像描述系统的服务机器人100，该机器人100包括有：

视觉单元110，用来记录视觉图像；