[发明专利]基于CR2神经网络的图像‑文本双编码机理实现模型

摘要

本发明公开了一种基于CR2神经网络的图像‑文本双编码机理实现模型，涉及人类认知和知识表征领域，其特点是，包括表象系统，采用多层卷积神经网络模型(CNN)，获取表征信息心理映像的“图像单元”；语义系统，采用RNNLM语言模型，获取表征信息语义的“语言单元”；参考关联系统，采用RBF自增长神经网络模型，正模型以“图像单元”为输入，输出为参考关联的“语言单元”，逆模型为正模型的逆向运算。这里CR2神经网络指代的是CNN、RNN，RBF三种神经网络的有机组成。本发明实现了图像表象系统和自然语言语义系统模型的建立，同时还建立起了两个系统之间参考关联的模型。本发明的模型完整的模拟了图像‑文本双编码认知机理的整个过程。

主权项

基于CR2神经网络的图像‑文本双编码机理实现模型，其特征在于：包括以下步骤：S1：输入与信息相关的图像信息及其文本信息；S2：通过表象系统获取该信息非语词表征的“图像单元”；S3：通过语义系统获取该信息语词表征的“语言单元”；S4：通过参考关联系统获取关联的“图像单元”及其“语言单元”；S5：输出获取的所有“图像单元”和“语言单元”。发明公开了一种基于多层。