[发明专利]图像感测装置和图像处理装置

说明书

本申请涉及图像感测装置和图像处理装置。公开一种图像感测装置，其包括：第一模块，其适用于基于原始图像和多个第一卷积层生成针对每个颜色通道分离的多个插值图像；第二模块，其适用于基于多个插值图像和多个第二卷积层生成针对每个颜色通道分离的多个细化图像；以及第三模块，其适用于基于多个细化图像和多个第三卷积层生成对应于原始图像的至少一个输出图像。

技术领域

本公开的各种实施方式涉及半导体设计技术，并且更具体地，涉及图像感测装置。

背景技术

图像感测装置是使用半导体对光起反应的特性来捕捉图像的装置。图像感测装置一般分为电荷耦合器件(CCD)图像感测装置和互补金属氧化物半导体(CMOS)图像感测装置。近来，CMOS图像感测装置被广泛使用，这是因为CMOS图像感测装置可以允许在单个集成电路(IC)上直接实现模拟控制电路和数字控制电路二者。

发明内容

本公开的各种实施方式涉及能够在从原始图像生成输出图像时进行端到端学习的图像感测装置。

根据实施方式，一种图像感测装置可以包括：第一模块，其适用于基于原始图像和多个第一卷积层，生成针对每个颜色通道分离的多个插值图像；第二模块，其适用于基于多个插值图像和多个第二卷积层，生成针对每个颜色通道分离的多个细化图像；以及第三模块，其适用于基于多个细化图像和多个第三卷积层，生成对应于原始图像的至少一个输出图像。

第二模块可以学习多个第二卷积层中的每一个中包含的权重以生成多个细化图像。

第三模块可以学习多个第三卷积层中的每一个中包含的权重以生成输出图像。

多个第一卷积层中的每一个可以包括各自具有固定值的权重或者其中混合了固定值和可变值的权重。

根据本公开的实施方式，一种图像感测装置可以包括：第一模块，其适用于基于通过设定的滤色器图案生成的原始图像，在保持设定的滤色器图案中的对齐的同时生成针对每个颜色通道分离的多个插值图像；第二模块，其适用于基于多个插值图像和第一学习算法生成多个细化图像；以及第三模块，其适用于基于多个细化图像和第二学习算法，生成与原始图像对应的至少一个输出图像。

第一模块可以使用多个第一卷积层来生成多个插值图像。

多个第一卷积层中的每一个可以包括各自具有固定值的权重或者其中混合了固定值和可变值的权重。

第二模块可以使用多个第二卷积层来生成多个细化图像，并学习多个第二卷积层中的每一个所包含的权重。

第三模块可以使用多个第三卷积层来生成输出图像，并学习多个第三卷积层中的每一个所包含的权重。

根据本公开的实施方式，一种图像感测装置可以包括：第一模块，其适用于接收原始图像并基于原始图像以及第一卷积层、第二卷积层和第三卷积层生成多个插值图像，多个插值图像包括与第一颜色通道和第一卷积层相关联的第一子集的插值图像、与第二颜色通道和第二卷积层相关联的第二子集的插值图像、与第三颜色通道和第三卷积层相关联的第三子集的插值图像；第二模块，其适用于基于多个插值图像以及第四卷积层、第五卷积层和第六卷积层生成多个细化图像，多个细化图像包括与第一颜色通道和第四卷积层相关联的第一子集的细化图像、与第二颜色通道和第五卷积层相关联的第二子集的细化图像、与第三颜色通道和第六卷积层相关联的第三子集的细化图像；以及第三模块，其适用于校正多个细化图像以生成输出图像。

根据本公开的实施方式，一种图像感测装置可以包括：图像传感器，其包括具有预定滤色器图案的像素阵列，并且适用于生成原始图像；图像处理器，其适用于基于原始图像生成输出图像，并在基于原始图像生成输出图像时支持使用多个卷积层的端到端学习网络。

学习网络可以被设计为在对原始图像进行插值时保持在预定滤色器图案中的对齐。

附图说明