[发明专利]包括神经网络处理器的图像处理设备和操作的方法

说明书

公开了一种包括神经网络处理器的图像处理设备和操作的方法。所述图像处理设备包括：图像传感器，包括生成第一图像数据的像素；以及图像处理系统。图像处理系统包括：神经网络处理器，基于与第一类型坏像素簇相关联的第一坐标信息对第一图像数据执行簇级坏像素校正操作以生成第二图像数据，以及主处理器，对第二图像数据执行后处理操作以生成第三图像数据。

本申请要求于2020年7月3日在韩国知识产权局提交的第10-2020-0082268号韩国专利申请的权益，所述韩国专利申请的内容通过引用包括在此。

技术领域

发明构思的实施例涉及使用神经网络处理器执行图像处理操作的图像处理设备和图像处理系统、以及操作它们的方法。

背景技术

近来，随着对高质量和高分辨率图片和图像的需求增加，图像传感器中的像素的大小由于更多数量的像素被容纳而减小。因此，由于特定工艺问题，图像处理设备的像素可包括以一个或多个任意形状和在一个或多个任意位置中出现的坏像素。

因为具有任意形状的相对大量的坏像素可能无法用于生成期望的图像，所以图像处理设备的性能可能下降。因此，需要一种用于校正与坏像素相关联的像素数据的技术。然而，坏像素可能以不可预测的方式和时间孤立地或成簇地发生，并且可能导致变化的性能。因此，需要一种考虑孤立的坏像素和成簇的坏像素二者的坏像素校正的方法。

发明内容

发明构思的实施例提供了一种图像处理设备、图像处理系统以及操作图像处理设备和图像处理系统的方法，图像处理设备和图像处理系统使用神经网络处理器适当地校正从包括坏像素(第一类型坏像素或簇类型坏像素、和/或第二类型坏像素或孤立像素类型坏像素)的像素阵列输出的像素数据。

根据发明构思的一方面，提供了一种图像处理设备，包括：图像传感器，包括生成第一图像数据的像素；以及图像处理系统。图像处理系统包括：神经网络处理器，被配置为：基于与第一类型坏像素簇相关联的第一坐标信息对第一图像数据执行簇级坏像素校正操作以生成第二图像数据，以及主处理器，被配置为对第二图像数据执行后处理操作以生成第三图像数据。

根据发明构思的一方面，提供了一种图像处理系统，包括：预处理器，接收第一四合一像素(tetra)数据并包括坏像素模块，坏像素模块对第一tetra数据执行像素级坏像素校正操作以生成像素级校正后的第一tetra数据；神经网络处理器，包括坏像素网络模块，坏像素网络模块接收像素级校正后的第一tetra数据，并基于坐标信息执行簇级坏像素校正操作以生成第二tetra数据；以及主处理器，接收第二tetra数据，并且包括：马赛克重排(remosaic)模块，将第二tetra数据转换为具有拜耳图案的相应数据；去马赛克(demosaic)模块，将具有拜耳图案的数据转换为具有红-绿-蓝(RGB)图案的相应数据；去噪模块，从具有RGB图案的数据去除噪声；以及锐化模块，对具有RGB图案的数据执行锐化操作。

根据发明构思的一方面，提供了一种操作图像处理设备的方法，图像处理设备包括包含像素的图像传感器、神经网络处理器和主处理器。所述方法包括：使用像素生成第一图像数据；使用神经网络处理器并基于与包括像素之中的坏像素的簇相关联的坐标信息，对第一图像数据执行簇级坏像素校正操作，以生成第二图像数据；以及使用主处理器对第二图像数据执行后处理操作以生成第三图像数据。

附图说明

从下面的结合附图的详细描述，将更清楚地理解发明构思的实施例，在附图中：

图1是示出根据发明构思的实施例的神经网络系统的框图；

图2是示出根据发明构思的实施例的一种可能的神经网络结构的概念图；

图3是示出根据发明构思的实施例的图像处理设备的框图；

图4A、图4B和图4C是与可在图3的图像处理设备中使用的滤色器阵列对应的示例性像素阵列的相应的示图；