[发明专利]一种昼夜全彩楼宇可视电话成像装置

摘要

本发明公开一种昼夜全彩楼宇可视电话成像装置，属于楼宇可视电话技术领域，用于解决现有楼宇可视电话不能在近红外补光情况下获取夜间彩色图像的问题。本发明昼夜全彩楼宇可视电话成像装置，采用近红外补光照明，采用近红外增透镜头和单色图像传感器拍摄近红外+可见光灰度图像，采用与近红外增透镜头光轴平行的可见光镜头和彩色图像传感器拍摄可见光彩色图像，以灰度图像作为引导对彩色图像进行去噪，再在颜色与亮度分离颜色空间，对灰度图像和彩色图像进行图像细节和颜色融合，得到低照度近红外补光情况下彩色图像。本发明可用于实现昼夜全彩楼宇可视对讲。

主权项

一种昼夜全彩楼宇可视电话成像装置，其特征是：由1个摄像机机壳(1)、1个光电传感器(2)、1个近红外光源(3)、1个近红外增透镜头(4)、1个单色图像传感器(5)、1个可见光镜头(6)、1个IRCUT(7)、1个彩色图像传感器(8)、1个处理电路(9)、1个供电接口(10)、1组数据接口(11)构成；其中，摄像机机壳(1)前端设置两个镜头接口，用于固定近红外增透镜头(1)和可见光镜头(2)，在摄像机机壳前端设置光电传感器(2)；光电传感器(2)选用可见光传感器，用于测量场景中可见光强度，以此判定是否开启或关闭近红外光源(3)；近红外光源(3)固定在摄像机壳(1)前方，在低照度情况下，对场景进行补充照明，近红外光源(3)波长范围为800nm～1000nm，照明视场角大于拍摄视场，近红外光源(3)具有控制信号输入接口，并与处理电路(9)连接，由处理电路(9)控制近红外光源开启或关闭；近红外增透镜头(4)后端设置单色图像传感(5)用于拍摄灰度图像A；可见光镜头(6)后端设置彩色图像传感器(8)用于拍摄彩色图像B，在彩色图像传感器(8)前端设置IRCUT(7)，用于近红外光源(3)开启照明情况下过滤近红外光；所述彩色图像传感器(8)为Bayer图像传感器，彩色图像B是由Bayer图像传感器拍摄的Bayer图像Q经图像去马赛克处理得到；处理电路(9)是嵌入式硬件，可采用ARM、DSP、FPGA、ASIC、单片机等芯片实现；采集电路(9)与光电传感器(2)、近红外光源(3)的控制电路接口、单色图像传感器(5)、彩色图像传感器(8)、IRCUT(7)、供电接口(10)、数据接口(11)连接，为光电传感器(2)、单色图像传感器(5)、彩色图像传感器(8)、IRCUT(7)、数据接口(11)供电，完成光电传感器(2)测量信号采集与处理，单色图像传感(5)、彩色图像传感器(8)图像采集，完成ISP处理、图像融合、图像压缩、图像存储、图像传输等操作，进行IRCUT、近红外光源驱动控制；供电接口(10)与近红外光源(3)、处理电路(9)连接，为近红外光源(3)和处理电路(9)供电；数据接口(11)用于摄像机控制、数据传输，相关接口包括：BNC、网络、HD‑SDI、HDMI；本发明摄像机工作流程是：处理电路(9)采集光电传感器(2)测量结果v，取值范围为0～255，当测量结果v>t时，摄像机进入白天工作模式，当测量值v<t时，摄像机进入夜间工作模式，其中t是判定阈值，取值范围为0～255；在白天工作模式，处理电路(9)关闭近红外光源(3)、单色图像传感器(5)，驱动IRCUT移开彩色图像传感器前端的IR滤光片，采集彩色图像传感器(8)Bayer图像Q，执行标准的ISP处理流程，获取白天彩色图像C，对图像C进行压缩、存储、传输等操作；在夜间工作模式下，处理电路(9)开启近红外光源(3)照明、单色图像传感器(5)、彩色图像传感器(8)，驱动IRCUT移动IR滤光片到彩色图像传感器前端，同步采集单色图像传感器(5)拍摄的灰度图像A和彩色图像传感器(8)拍摄的Bayer图像Q，对Bayer图像Q进行去马赛克处理得到彩色图像B，对灰度图像A和彩色图像B进行图像融合，得到夜间彩色图像C'，再对图像C'进行压缩、存储、传输；在夜间工作模式下，对Bayer图像Q进行去马赛克处理得到彩色图像B的具体方法是：以2*2像素为处理单元，根据Bayer成像模式，抽取2*2像素块内的r、b通道像素作为彩色图像B的r、b通道值，抽取2*2像素块内的g通道像素均值作为彩色图像B的g通道值，得到的彩色图像B分辨率是Bayer图像Q的1/4；在夜间工作模式下，对灰度图像A与彩色图像B进行融合，得到夜间彩色图像C'的方法，包括方法a和方法b；方法a操作步骤如下：第a‑1步：采用图像插值方法对彩色图像B进行上采样得到彩色图像B'，使彩色图像B'分辨率与灰度图像A相同；对近红外增透镜头(4)、可见光镜头(6)构成的双目立体成像系统进行标定，获取灰度图像A与彩色图像B'像素坐标映射关系P：(iA,jA)＝P(iB',jB')，其中(iA,jA)、(iB',jB')是灰度图像A和彩色图像B'的像素坐标；所述图像插值方法，包括线性插值、双线性插值、高斯插值、B样条插值、RBF插值；第a‑2步：根据坐标映射关系P，对彩色图像B'进行坐标变换得到彩色图像B”，抽取灰度图像A与彩色图像B”的重叠区域，分别得到灰度图像E和彩色图像D，此时，灰度图像E与彩色图像D视场重合；第a‑3步：以灰度图像E作为引导图像，对彩色图像D的r、g、b颜色通道Dr,Dg,Db进行局部平滑滤波，得到去噪彩色图像第a‑4步，在颜色与亮度分量颜色空间λ，把彩色图像转换为图像其中是亮度分量，是颜色分量，使用灰度图像E替换得到图像将图像转换为rgb颜色空间图像C'，图像C'中亮度信息来源于图像E，颜色信息来源于图像所述第a‑3步中以图像E作为引导图像对彩色图像D进行局部平滑滤波的具体操作步骤如下：第a‑3‑1步：计算图像E的局部邻域均值：μE＝fm(E)  (1)计算图像D的三个颜色通道Dr,Dg,Db的局部邻域均值：μDr=fm(Dr)---(2)]]>μDg=fm(Dg)---(3)]]>μDb=fm(Db)---(4)]]>第a‑3‑2步：计算图像E的局部邻域方差：σE＝fm(E.*E)‑μE.*μE  (5)计算图像E与图像D三个颜色通道Dr,Dg,Db中对应像素的局部邻域协方差：σE,Dr=fm(E.*Dr)-μE.*μDr---(6)]]>σE,Dg=fm(E.*Dg)-μE.*μDg---(7)]]>σE,Db=fm(E.*Db)-μE.*μDb---(8)]]>第a‑3‑3步：计算线性变换系数：αr=σE,Dr./(σE+τr)---(9)]]>αg=σE,Dg./(σE+τg)---(10)]]>αb=σE,Db./(σE+τb)---(11)]]>其中，τr,τg,τb是一个罚分系数，取值范围为(0～10)；βr=μDr-αr.*μE---(12)]]>βg=μDg-αg.*μE---(13)]]>βb=μDb-αb.*μE---(14)]]>第a‑3‑4步：计算线性变换系数局部邻域均值：μαr=fm(αr)---(15)]]>μαg=fm(αg)---(16)]]>μαb=fm(αb)---(17)]]>μβr=fm(βr)---(18)]]>μβg=fm(βg)---(19)]]>μβb=fm(βb)---(20)]]>第a‑3‑5步：对图像D三个颜色通道Dr,Dg,Db进行线性变换：其中，fm(·)是图像均值滤波，窗口尺寸为s*s，s取值范围为3～111，.*是点乘操作，表示矩阵中相同位置处元素相乘，./是点除操作，表示矩阵中相同位置处元素相除；方法b是对方法a中第a‑3步得到的彩色图像和灰度图像E进行图像细节融合，获取更高质量低照度彩色图像C”，具体操作如下：第b‑1步：在颜色与亮度分量颜色空间λ，把彩色图像转换为图像其中是亮度分量，是颜色分量；第b‑2步：对图像E进行图像保边缘多尺度分解，得到基图像和细节图像其中，(n+1)是图像分解的层数，取值范围为1～10；所述基图像由图像保边缘平滑滤波得到：ξE0=fsmooth0(E)---(24)]]>所述图像保边缘平滑滤波fsmooth(·)包括加权最小二乘保边缘平滑、基于局部极值的保边缘平滑、基于局部拉普拉斯金字塔的保边缘滑、中值滤波、加权中值滤波方法；多层细节图像由基图像与不同尺度平滑图像作差得到：ξEz=ξE0-Fsmoothz(E)---(25)]]>多层细节图像也可由两个不同尺度平滑图像作差得到：ξEz=fsmoothz1(E)-fsmoothz2(E)---(26)]]>其中，fsmooth(·)是图像保边缘平滑滤波，上标0、z、z1、z2是指滤波器尺度层标号，标号越大尺度越小，标号为0表示最大滤波尺度；第b‑3步：将基图像细节图像与亮度分量加权融合后，得到新的亮度分量其中，{ω0,ω1,…,ωn+1}是加权系数，取值范围0～1；第b‑4步：基于新的亮度分量将图像转化为rgb颜色空间彩色图像C”，图像C”中亮度信息来源于图像E和图像颜色信息来源于图像所述，颜色与亮度分离颜色空间λ包括YUV、YCbCr、HSI、Lab、CIEXYZ颜色空间。