[发明专利]一种人机交互系统

权利要求书

1.一种人机交互系统，其特征在于，所述系统包括：

输入模块，用于获取用户的图像信息以及语音信息；

处理模块，所述处理模块与所述输入模块连接，包括图像处理单元以及语音处理单元，所述图像处理单元用于根据预设的图像处理模型对所述图像信息进行处理并生成第一输出信息，所述语音处理单元用于根据预设的语音处理模型对所述语音信息进行处理并生成第二输出信息；

输出模块，所述输出模块与所述处理模块相连，用于向用户展示所述第一输出信息以及所述第二输出信息。

2.根据权利要求1所述的人机交互系统，其特征在于，所述输入模块包括图像输入单元以及语音输入单元；

所述图像输入单元用于获取用户的图像信息；

所述语音输入单元用于获取用户的语音信息。

3.根据权利要求1或2所述的人机交互系统，其特征在于，所述输入模块还包括操作单元；

所述操作单元用于接收用户的操作并根据用户的操作生成相应的输入信息；

所述处理模块还包括操作信息处理单元，所述操作信息处理单元用于按预设规则处理所述操作信息并生成相应的第三输出信息；

所述输出模块还用于向用户展示所述第三输出信息。

4.根据权利要求1所述的人机交互系统，其特征在于，所述图像处理单元用于根据预设的图像处理模型对所述图像信息进行处理并生成第一输出信息，具体包括以下步骤：

利用图像识别算法提取所述图像信息的特征信息；

利用卷积神经网络模型对所述特征信息进行处理，并对处理结果进行多模式匹配，生成与所述图像信息对应的回复信息；

根据所述与所述图像信息对应的回复信息生成回复语音作为所述第一输出信息并传输给所述输出模块。

5.根据权利要求4所述的人机交互系统，其特征在于，所述利用卷积神经网络模型对所述特征点进行处理，之后还包括以下步骤：

根据处理结果利用数据推荐系统生成与所述图像信息对应的推荐信息；

根据与所述图像信息对应的推荐信息生成提问语音并传输到所述输出模块。

6.根据权利要求1所述的人机交互系统，其特征在于，所述语音处理单元用于根据预设的语音处理模型对所述语音信息进行处理并生成第二输出信息，具体包括以下步骤：

将所述语音信息转化为文本信息；

利用卷积神经网络模型对所述文本信息进行处理，并对处理结果进行多模式匹配，生成与所述语音信息对应的回复信息；

根据所述与所述语音信息对应的回复信息生成回复语音作为所述第二输出信息并传输给所述输出模块。

7.根据权利要求6所述的人机交互系统，其特征在于，所述利用卷积神经网络模型对所述文本信息进行处理，之后还包括以下步骤：

根据处理结果利用数据推荐系统生成与所述语音信息对应的推荐信息；

根据与所述语音信息对应的推荐信息生成提问语音并传输到所述输出模块。

8.根据权利要求1所述的人机交互系统，其特征在于，所述系统还包括数据库，所述数据库包括图像数据库、语料数据库以及知识数据库；

所述图像数据库存储有图像数据，用于为所述图像处理单元提供匹配图像；

所述语料数据库存储有语料数据，用于为所述语音处理单元提供匹配语料；

所述知识库存储有预设的关键词以及关键词之间的对应关系、图像信息与图集信息之间的对应关系，用于为所述处理模块生成推荐信息提供原数据。

9.根据权利要求1所述的人机交互系统，其特征在于，所述系统还包括场景识别模块，所述场景识别模块用于根据所述图像信息和/或所述语音信息判断会话场景；

所述图像处理模块具体用于，根据所述场景识别模块的判断结果以及预设的图像处理模型对所述图像信息进行处理并生成所述第一输出信息；

所述语音处理模块具体用于，根据所述场景识别模块的判断结果以及预设的语音处理模型对所述语音信息进行处理并生成所述第二输出信息。

10.根据权利要求1所述的人机交互系统，其特征在于，所述输出模块包括图像输出单元以及语音输出单元；

所述图像输出单元用于输出所述第一输出信息和/或所述第二输出信息中包含的图像；

所述语音输出单元用于输出所述第一输出信息和/或所述第二输出信息中包含的语音。