[发明专利]基于CR2神经网络的图像‑文本双编码机理实现模型

说明书

技术领域

本发明涉及人类认知和知识表征领域，特别涉及基于多层神经网络的图像-文本双编码认知机理模型及其建立的方法。

背景技术

近年来，对于人类认知和知识表征的研究成为科学界的热点；同时这也是人工智能研究中的关键点。双编码是由心理学家佩维奥在1971年提出的一种认知理论，其强调在信息的贮存、加工和提取中，语言和非语言的信息加工过程是同样重要的。人类认知存在两个子系统，其一专用于对非语词事物、事件(即映象)的表征与处理即表象系统；而另一个则用于语言的处理即语义系统。这两个子系统即相互平行又相互联系。佩维奥同时还假定，存在两种不同的表征单元：表象系统中适用于心理映象表征的“图象单元”和语义系统中适用于语言实体表征的“语言单元”。前者是根据部分与整体的关系组织的，而后者是根据联想与层级组织的。双编码理论是认知科学中的一个重要理论，但是其也只停留在了理论的文字表述，其完整数学模型的建立仍然是个难点。本发明就是基于神经网络建立图像-文本双编码认知理论的数学模型。

人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型，其也是人工智能中的重要研究方向。深度学习是人工神经网络上的一个重大发展。当前研究者普遍发现采用深度学习框架完成一些任务相比与传统的机器学习方法都有了很大的改善，例如图像识别、自然语言处理、数据挖掘等。深度学习通过多隐层神经网络学习到目标更深层次的本质特性，从而在众多领域中都取得了很好的效果。运用神经网络发展人工智能也成为了研究热点。

深度学习在人工智能上所取得的进展也启发了本发明。通过借助深度神经网络建立图像-文本双编码认知机理的数学实现模型，为研究该理论提供数学基础。

发明内容

有鉴于此，本发明提出了一种基于CR²神经网络的图像-文本双编码机理实现模型。CR²神经网络指代的是CNN、RNN，RBF三种神经网络的有机组成。该模型实现了图像表象系统和自然语言语义系统模型的建立，同时还建立起了两个系统之间参考关联系统的模型。本发明的模型完整的模拟了图像-文本双编码认知机理的整个过程。

本发明的目的就是建立图像-文本双编码认知机理数学实现模型，主要是通过以下技术方案来实现的：

本发明提供的图像-文本双编码认知机理数学实现模型，包括以下步骤：

S1：输入与信息相关的图像信息及其文本信息；

S2：通过表象系统获取该信息非语词表征的“图像单元”；

S3：通过语义系统获取该信息语词表征的“语言单元”；

S4：通过参考关联系统获取关联的“图像单元”及其“语言单元”；

S5：输出获取的所有“图像单元”和“语言单元”。

进一步，所述步骤S1中图像信息为图像的像素信息，文本信息为单词编码；

进一步，所述步骤S2中表象系统模型采用训练过的多层卷积神经网络，输出的向量作为“图像单元”；

进一步，所述步骤S3中语义系统模型采用RNNLM语言模型，输出的词向量作为“语言单元”；

进一步，所述步骤S4中参考关联系统模型采用RBF自增长神经网络；

进一步，所述步骤S4中参考关联系统模型训练采用在线监督学习，输入为“图像单元”，输出为对应的“语言单元”；

进一步，所述步骤S4中逆模型为参考关联系统正向神经网络的逆向运算。

本发明的特点在于：本发明利用了多层卷积神经网络获取了“图像单元”，利用RNNLM语言模型获取了“语言单元”，其很好的模拟了人脑对于映像和语言信息的处理；同时利用RBF自增长神经网络建立起了两个认知子系统之间的相互参考关联，两个子系统实现了即相互平行又相互关联。CNN、RNN、RBF三种神经网络组成了本文的CR²神经网络。至此，三个部分的有机结合完整的模拟了图像-文本双编码认知机理。

附图说明

为了使本发明的目的，技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为本发明提供的图像-文本双编码机理实现模型的系统结构框图。

图2为本发明提供的图像-文本双编码机理实现模型的系统原理示意图。

具体实施方式