[发明专利]用于分析卷积神经网络中的图像的方法和系统

说明书

一种分析图像以产生输出特征的方法(500)包含接收所述图像的输入特征并且对每一输入特征执行(502)傅里叶变换。接收具有训练特征的系数的内核并且对所述内核中的系数执行(510)实时傅里叶变换OTF‑FT。使每一傅里叶变换和每一OTF‑FT的输出相乘(512)以产生乘积，且使所述乘积中的每一个相加(513)以产生每一输出特征的一个和。对每一和执行(516)二维反傅里叶变换。

背景技术

深度学习技术例如卷积神经网络(CNN)正变得普遍用于图像分类、像素标记、路径规划和在包含汽车、工业、无人机和机器人应用的多个应用中具有广泛用途的其它应用。典型CNN架构包含级联的多个层功能，例如卷积、非线性、空间池化，以及完全连接层。由二维卷积组成的卷积层通常构成图像分类和像素标记所需的计算的90％以上。

一种用于卷积的方法是基于使用快速傅里叶变换(FFT)技术在频域(也被称作FFT域)中进行的处理。在此技术中，卷积简化为FFT域中的逐点复数乘法。基于FFT的方法的问题中的一个是其产生与正被分析的图像的尺寸而非应用于图像的滤波器的大小成比例的多个频域系数，此前提是滤波器尺寸比图像尺寸小得多。需要存储频域系数的存储器是非常高的并且超过大部分计算机和/或处理芯片的芯片上存储器的典型大小，这使得此技术对于大部分硬件来说不可行。

发明内容

一种分析图像以产生输出特征的方法包含接收所述图像的输入特征并且对每一输入特征执行傅里叶变换。接收具有训练特征的系数的内核并且对所述内核中的系数执行实时傅里叶变换(OTF-FT)。使每一傅里叶变换和每一OTF-FT的输出相乘以产生乘积，且使所述乘积中的每一个相加以产生每一输出特征的一个和。对每一和执行二维反傅里叶变换。

附图说明

图1是实施卷积神经网络(CNN)的成像系统的框图。

图2是具有两个卷积层和后跟softmax层的完全连接层的CNN的框图。

图3是示出输入特征向量的二维卷积的框图。

图4是示出使用基于快速傅里叶变换(FFT)的方法在卷积神经网络中进行图像分析的实例的图式。

图5是概要地描述本文中所描述的的卷积方法的实例的流程图。

图6是更详细地描述图4的图像分析的实例的图式。

图7是描述图6的精简过程和扩展过程的空间二维阵列。

图8是示出产生虚分量和实分量的实时傅里叶变换的数据流图。

图9是示出用于执行图8的实时傅里叶变换的详细过程的图表。

具体实施方式

图像识别/分析系统通过实施深度学习技术例如卷积神经网络(CNN)识别和/或分类图像。深度学习技术例如CNN的进步由于计算能力的进步以及低成本且功能强大的相机而为部分可用的。典型CNN架构包含多个二维卷积层，其通常构成图像分析例如分类、像素标记和其它功能所需的整个计算的90％以上。本文中描述使用快速傅立叶变换(FFT)在频域中执行卷积的CNN和成像系统，其具有减小的复杂性和减小的存储器使用量。

图1是实施CNN的成像系统100的框图。成像系统100包含捕获图像的相机102。相机102将表示所捕获图像的数字图像数据输出到执行图像分析技术例如本文中所描述的分类的CNN 104。本说明书集中于使用FFT在频域(有时被称为FFT域)中执行卷积。因此，实施于成像系统100中的CNN 104可执行比本文中所描述的任务更多的任务。CNN 104基于从相机102接收的图像的分析产生数据或输出特征。数据传送到提供给定图像分析通知的输出装置106(或输出-图像识别装置106)，其中所述通知可包含图像中的对象的识别。举例来说，输出装置106可用将CNN 104所产生的数据转译成计算机可读取或输出到扬声器或显示器以用于给定图像分析的数据的软件、语音系统或显示器予以实施。