[发明专利]基于CR2神经网络的图像‑文本双编码机理实现模型

权利要求书

1.基于CR²神经网络的图像-文本双编码机理实现模型，其特征在于：包括以下步骤：

S1：输入与信息相关的图像信息及其文本信息；

S2：通过表象系统获取该信息非语词表征的“图像单元”；

S3：通过语义系统获取该信息语词表征的“语言单元”；

S4：通过参考关联系统获取关联的“图像单元”及其“语言单元”；

S5：输出获取的所有“图像单元”和“语言单元”。发明公开了一种基于多层。

2.根据权利要求1所述基于CR²神经网络的图像-文本双编码机理实现模型，其特征在于：所述步骤S1中图像信息为图像的像素信息，文本信息为单词编码。

3.根据权利要求1所述基于CR²神经网络的图像-文本双编码机理实现模型，其特征在于：所述步骤S2中表象系统模型采用训练过的多层卷积神经网络，输出的向量作为“图像单元”。

4.根据权利要求1所述基于CR²神经网络的图像-文本双编码机理实现模型，其特征在于：所述步骤S3中语义系统模型采用RNNLM语言模型，输出的词向量作为“语言单元”。

5.根据权利要求1所述基于CR²神经网络的图像-文本双编码机理实现模型，其特征在于：所述步骤S4中参考关联系统模型采用RBF自增长神经网络。

6.根据权利要求1所述基于CR²神经网络的图像-文本双编码机理实现模型，其特征在于：所述步骤S4中参考关联系统模型训练采用在线监督学习，输入为“图像单元”，输出为对应的“语言单元”。

7.根据权利要求1所述基于CR²神经网络的图像-文本双编码机理实现模型，其特征在于：所述步骤S4中逆模型为参考关联系统正向神经网络的逆向运算。