[发明专利]基于智能机器人的儿童读物阅读与交互方法及系统

摘要

本发明提供一种基于智能机器人的儿童读物阅读与交互方法，智能机器人处于开启状态，获取阅读指示，儿童读物置于智能机器人识别范围内，包含：在可识别范围内，追踪用户的手部动作，通过视觉识别能力识别用户的手势，确定手势具有阅读的意图，并指向的儿童读物中的待识别内容；识别待识别内容中的文字信息以及图像信息，对文字信息以及图像信息进行文字语义理解以及图像语义理解，获取待识别内容中包含的目标物信息；获取与目标物信息匹配的问答数据，生成多模态输出数据，并接收用户针对多模态输出数据的回应，与用户展开多轮交互。本发明能够识别用户的手势，阅读用户手势指向的儿童读物的内容，提升用户的使用体验，降低了儿童用户的阅读难度。

主权项

1.一种基于智能机器人的儿童读物阅读与交互方法，其特征在于，所述智能机器人处于开启状态，获取阅读指示，所述儿童读物置于所述智能机器人识别范围内，所述方法包含以下步骤：在可识别范围内，追踪用户的手部动作，通过视觉识别能力识别用户的手势指示阅读意图，并确定所述手势指向的儿童读物中的待识别内容；识别所述待识别内容中的文字信息以及图像信息，对所述文字信息以及所述图像信息进行文字语义理解以及图像语义理解，获取所述待识别内容中包含的目标物信息；获取与所述目标物信息匹配的问答数据，生成多模态输出数据，并接收用户针对所述多模态输出数据的回应，与用户展开多轮交互。