基于物理模型的单幅图像对比复原算法
中图分类号： TP391.41
文献标志码：A
Contrast restoration algorithm for single image based on physicals model
WANG Fan， YANG Yan*， BAI Haiping
School of Electronic and Information Engineering， Lan Zhou Jiao Tong University， Lanzhou Gansu 730070， China
Abstract： Concerning that the parameter estimation in defogging algorithms based on image restoration is easy to cause the loss of scene information， a new defogging algorithm for single image was proposed. On the basis of the dark channel prior method， the atmospheric scattering model was analyzed and then the influence to dark channel image caused by fog distribution was summarized， which is the basis for adding fog to the outdoor images. The transmittance was estimated through the field depth relationship between the fog added reference image and the outdoor image to defogging. The algorithm used physical model and multiple images to complete the estimation of relevant parameters and had a better result in retaining scene information. The experimental results show that the proposed algorithm is more effective than the comparison algorithms， and its processing speed is also improved significantly.
Key words：
image defogging； physicals model； image plus fog； transmittance； image restoration
0引言
雾霾天气下，由于环境因素的影响，场景能见度降低，户外拍摄的图像对比度与颜色等信息产生不同程度的衰减，严重影响了图像的视觉效果和后续处理。近年来，随着户外视频工作的普及，特别在以提取图像特征为基础的视频监控、智能导航、地形勘测等视觉应用领域，对雾天降质图像的清晰化处理显得尤为重要。
目前，单幅图像去雾算法主要分为两类：基于图像增强的算法和基于图像复原的算法。图像增强算法[1-3]通过提高雾天图像的对比度来改善图像视觉效果，该方法虽然有较好的场景再现能力和较高的处理速度，但是没有物理模型的支持，容易造成信息丢失，特别是视觉效果很难达到预期要求。
相比之下，基于一定雾天图像退化模型的图像复原算法显得更为优越。
Narasimhan等[4]利用不同天气条件下同一场景的多幅图像计算景物边界，通过提取景物深度信息来复原场景图像，但该方法缺乏实用性。
Fattal[5]通过假设图像表面投影和透射率函数在局部块上不相关，并采用独立分量分析方法和马尔可夫随机场模型复原有雾图像，但该方法对浓雾图像和灰度图像处理效果不明显。
Tarel等[6]通过图像滤波估计大气散射函数，再经过色度调和得到复原图像；该方法恢复的图像自然逼真，但图像整体偏暗，且景深突变处容易产生halo效应。
He等[7]提出暗通道先验理论后，使去雾研究产生新的突破，不仅有物理模型支持，也有很好的处理效果；但其利用抠图法来处理景物边缘，算法复杂度高，处理速度太慢。
为提高处理速度，He等[8]提出利用引导滤波算法代替软抠图过程，大大降低了算法复杂度；但滤波参数的设定因图而异，不具统一性，并且由于暗通道先验本身局限性，使得恢复的图像在明亮区域存在色彩失真。
王一帆等[9]利用双边滤波获得大气耗散函数，并借助物理模型来恢复无雾图像；该方法去雾效果自然、逼真，但算法复杂度太高，很难应用于实时去雾。
王伟鹏等[10]利用光学成像特性和形态学分割获取雾气浓度估计，并结合图像融合方法得到大气耗散函数；该算法对浓雾区域有很好的再现效果，但同样具有较高的复杂度，而且根据雾气浓度对图像进行分割处理，容易改变景深信息，处理效果不具层次感。 从大气散射模型可以看出，单幅雾霾图像复原算法的关键是利用外景图像和大气散射模型求解相关参数，这本身是一个病态问题，对此，本文受暗通道先验理论和同一场景不同天气条件下图像复原方法的启发，提出一种基于暗通道先验理论的加雾对比复原算法。该算法分析雾图形成模型，通过简单的加雾操作得到一幅参考图像，再利用两幅图像来估计透射率t（x），不仅降低了算法的复杂度，在处理速度方面有所改善，而且可以较为准确地估计场景透射率，更好地保留图像信息。在去雾图像的亮度调整方面，本文采用统一函数对三通道图像与其均值图像的差值进行增强，在提高亮度的同时可以保持景物本身的色度信息。
1雾天图像物理模型
在计算机视觉领域中，Nayar等[11]所提出的雾天图像形成模型得到普遍认可：
I（x）=J（x）t（x）+A（1-t（x））
（1）
其中：I（x）为相机拍摄图像； J（x）为无雾图像；A为场景中大气光强度；t（x）为景物光线通过传播媒介到达相机过程中没有被散射部分的比率，即透射率。
等式右边第一项反映的是景物光线到达相机后的成分，第二项反映的是经过大气散射所引入的大气光成分。模型中t（x）可以表示为：
t（x）=e-βd（x）
（2）
其中：β为大气散射系数，特定天气下是一个常量；d（x）为图像景深。因此，去雾的关键就是要估计出趋于准确值的大气光强度A和透射率t（x）。
2复原算法
2.1图像加雾
根据雾图形成模型，有雾图像可以认为是在晴天场景图像上加了一层浓度不同的雾气，雾气浓度间接反映了图像景深信息，如果雾气浓度增加，图像的透射率也呈一定规律变化（表现为图像亮度值的变化）。一般在特定天气条件下视大气散射系数β为一个定值，因此，由式（2）可知，对图像进行加雾，可以认为改变了图像的景深。基于以上理论，如果按照雾气对原场景图像的影响再去影响有雾图像，相当于有雾图像每个像素点前面再加了一层浓度相同的雾气，视β值为常量，则原图像的景深增加了一倍。
通过雾图形成模型可以发现，雾气对原场景图像的影响近似于加入了一定比例的白光成分，由于白光的三通道值相等，可以按照退化图像的三通道最小值图像合成雾气光，再将它叠加到退化图像相应像素中，实现退化图像的加雾操作。为了排除噪声影响，在合成雾气光前先对三通道最小值图像进行3×3的均值滤波。
在He的暗通道先验理论中，通过对大量无雾场景图像的暗通道像素进行统计，发现大约有75%的像素强度值为0，约90%的像素强度值低于25。由于这些暗通道像素的存在，支持了加雾操作的可行性，为保留原有雾图像的像素比例关系，将退化图像像素值压缩到[0，30]范围内（对8比特退化图像来说乘以系数0.117），估计为等式（1）右边第一项（景物光线强度），用三通道最小值图像与压缩值图像的差值来估计对应像素点的雾气光强度，并以此差值合成雾气光。
加雾后的参考图像表示为：
I^（x）=I（x）+[Imin（x）-0.117×I（x）]1+[Imin（x）-0.117×I（x）]
（3）
其中：I^（x）为加雾后的参考图像，I（x）为退化图像， Imin（x）为退化图像三通道最小值图像，式中所有值均为像素归一化值。其中Imin（x）表达式为：
Imin（x）=minc∈{r，g，b}I（x）
（4）
不同外景图像加雾效果如图1所示，由于加雾操作充分利用了场景景深信息，使得所加雾气的浓度随景深变化，可以较好地保留场景信息，处理效果比较自然。加雾后图像相对原图像来说去雾景深倍增，增强了景深突变信息，有利于后边对透射率的清晰估计。
图1外景图像加雾效果
2.2透射率估计
在雾图形成模型中，将透射率表达式代入，并对其进行简单变换可得：
I（x）-A=[J（x）-1]?e-βd（x）
（5）
对无雾图像而言，加雾后的图像相当于改变了退化模型的相关参数，而本文的加雾操作充分利用了场景各点的雾气浓度信息，根据式（3），加雾后图像像素值的变化会随着暗通道值的增大而减弱，对天空等像素值大的区域影响很小，一般大气光值A估计为天空区域亮度，为了计算方便，我们认为加雾图像与外景图像的大气光值A是一样的，由式（5）可知，如果视β值不变，加雾操作会增加外景图像的景深，令其增量为Δd（x），则加雾后的图像也可以表示为：
I^（x）-A=[J（x）-1]?e-β[d（x）+Δd（x）]
（6）
对式（5）和式（6）两边进行比值运算，就可得到Δd（x）所对应的透射率变化量：
Δt（x）=e-βΔd（x）=[A-I^（x）]/[A-I（x）]
（7）
根据前边的加雾操作，加雾后的参考图像景深改变量Δd（x）近似等于原场景图像景深d（x），因此，式（7）中的Δt（x）相当于场景透射率t1（x），即：
t1（x）=[A-I^（x）]/[A-I（x）]
（8）
根据暗通道先验理论，除天空和白色物体外，式（1）中的景物光线强度大部分趋近于0，因此加雾操作用退化图像[0，30]范围内的压缩值来估计无雾场景的像素值，会使得部分区域所估计雾气光强度偏小，导致加雾图像的像素值出现偏小的误差，式（8）中所估计的透射率值会相应偏大，使得去雾效果不彻底，因此，需要对透射率图像进行相应的调整来得到更好的去雾效果。分析可知，对雾气光估计的偏差会随暗通道像素值的减小而增大，为了拟合这种变化特性，本文使用imadjust函数对透射率图像进行相应调整，gamma值大于1。实验数据显示， 在一定范围内gamma取值越大透射率减小的幅度越大，去雾场景也越清晰；但当透射率小于准确值后，随着gamma值的增大，图像会出现过去雾现象，噪声也会随之放大，从而改变场景颜色信息。为了保持远景的朦胧感，本文gamma取值为1.3，既可以得到清晰的去雾效果，也可以保持景物的层次感，调整后即为最终的透射率估计值。 2.3大气光强度值估计
由式（8）可见，算法对透射率的估计主要取决于图像与A值的相对差，因此，本文采用Tan[12]的方法，以全局最大值作为对大气光值A的估计，不仅可以有效避免天空和白色物体透射率的错误估计，消除去雾图像天空区域的假彩色，在处理速度方面也会有所改善。
2.4原场景图像恢复
有了对透射率t（x）和大气光A的估算，将其代入式（1）就可恢复无雾图像，当透射率趋近于零时，式（1）中J（x）t（x）趋近于零，复原像素值会产生较大噪声，本文借鉴He算法，设定一个透射率下限值t0为0.1。复原图像表达式为：
J（x）=I（x）-Amax（t（x），t0）+A
（9）
2.5后续处理
基于上述过程复原的图像整体偏暗，需要对其加以调整。部分文献采用白平衡实现去雾图像的亮度调整，算法系数根据图像的全局均值来确定，对于R、G、B三通道的处理没有统一的比例，部分图像容易改变像素通道值的比例关系，引入不必要的颜色，为此，本文提出一种新的方法。首先求出三通道的均值图像，再分别在各通道中按照统一函数对均值图像与通道图像的差值进行修正。该方法综合考虑像素通道值的比例关系，既可以增强细节信息，又能改善视觉效果。为了在提高图像整体亮度的同时针对性地增强图像较暗区域对比度，选择指数函数作为修正函数，根据实验结果，γ取值越小，细节信息增强效果越明显，但取值太小也会使高亮度区域的颜色通道值产生明显差别，出现偏色现象，因此，本文取值为08来达到改善图像整体视觉效果的目的。修正后图像表达式如下：
Lc=Jmean+（Jc-Jmean）γ，Jc≥Jmean
Jmean-（Jmean-Jc）γ，Jc （10） 其中：Jc为2.4节所得复原图像的R、G、B分量图，Jmean为复原图像的三通道均值图像，Lc为相应的修正图像。 3仿真结果与分析 本文算法以物理模型为基础并结合了He算法的暗通道先验理论，从新的角度提出了模型参数的求法。图2分别给出了本文方法与He算法的引导滤波所获得的透射率图像以及去雾效果对比（由于本文对各通道参数的估计具有相似效果，为了方便观察，这里只给出R通道透射率图像作为比较）。雾霾条件下，由于空气中细小颗粒的折射、吸收等作用，场景的透射率只与景深有关，与场景细节无关[13]，由图2（b）、（c）可以看出：He算法中采用引导滤波对透射率进行细化，景物的细节信息较为明显（图2（b）远处高楼区域）；本文算法从多幅图像的对比中估计透射率，可以有效抑制细节信息，使得恢复图像边缘更加清晰。此外，从整体去雾效果来看，本文算法对透射率的估计分别在R、G、B三个颜色通道进行，降低了波长对景深的影响，可以恢复出更真实的场景颜色信息，增强图像的层次感（如图2（e）和（c）的比较）。 为了验证本文算法的整体优越性， 分别与Fattal算法[5]、He等[8]的引导滤波算法（He算法）和王一帆等[9]的双边滤波算法（王一帆算法）针对不同场景下有雾图像复原效果进行对比， 在操作系统Windows 7，CPU为Pentium DualCore 2.20GHz，内存2GB的普通计算机上实现仿真，仿真程序由Matlab编写。 3.1主观评价 图3、4给出了不同算法的去雾结果。由图可见：Fattal算法增强了图像的对比度，但存在明显的颜色失真，处理结果泛白（见图3（b）和图4（b）），而且该算法的性能在很大程度上取决于输入图像的统计特性，独立成分变化不显著或颜色信息不足将导致统计估计不可靠，恢复图像出现严重的黑斑现象（见图3（g）树叶处理效果、图3（l）和图4（g））。王一帆算法可以保留较多的高频信息，恢复图像也较为自然，但整体亮度不高（如图3（c）、图3（h）和图4所示），而且双边滤波算法本身具有较高的复杂度，虽然作者采用了加速算法、并行运算及GPU来提高处理速度，但加速过程依赖较高的硬件设施，不具实用性。He算法能够恢复出较好的颜色信息，但去雾效果不彻底，图像的某些有用细节信息没有得到增强（见图3（i）墙面处理效果），去雾后的图像饱和度偏大，颜色有些失真，并且亮度偏暗（见图3（d）和图3（n）），对天空区域的处理容易出现假彩色（如图4（d）和图4（i）天空区域）。相对来说，本文算法能够恢复出清晰、自然的场景信息，而且由于算法对图像作了进一步的亮度调整，增加了图像的细节信息和层次感，具有较好的视觉效果。 3.2客观评价 对去雾图像质量的客观评价，本文使用了平均梯度、信息熵以及李大鹏等[14]提出的无参考客观质量评测方法（Q值）。其中平均梯度是关于图像对比度、细节清晰度的反映，值越大，图像的对比度越高，层次越多； 信息熵是反映图像信息量的指标，表征了图像灰度级分布的聚集特性，熵值越高，图像蕴含信息越丰富；Q值是综合细节强度、色调还原程度和结构信息三个方面得到的评价指标，Q值越大，表明图像的整体质量越好。表1给出了部分图像各项指标的统计结果，为了体现评价的一般性，图3（a）和（f）均为一般的场景图像，图3（k）整体光线偏暗，图4（f）包含大面积天空区域。 如表1所示，Fattal算法以场景信息量为代价，换取了对比度和处理速度方面的改善，但综合评价指标（Q值）远低于对比算法，说明其去雾图像整体效果欠佳。 王一帆算法利用双边滤波器可以有效滤除透射率低频信息，恢复图像包含较多细节，具有较高的平均梯度与信息熵，但算法整体亮度偏暗，不能很好地重现图像结构信息，而且算法中多次使用双边滤波，复杂度高，处理时间长，没有GPU和并行加速时很难应用到实时去雾中。 从平均梯度和信息熵两个指标来看，本文算法与He的算法处理效果相似，不仅有效提高了图像的对比度，而且能恢复出较多的场景信息，但从综合评价指标来看，本文算法的整体处理效果优于He的算法，说明本文算法在增强可见度的同时具有更好的视觉效果。而且由表1可知，与王一帆和He的算法相比，本文算法在处理速度方面具有明显优势，这使得本文算法更具实用价值。 4结语 随着雾霾天气的频繁出现，单幅图像去雾处理成为许多学者关注的焦点。本文深入分析He的暗通道先验理论，结合大气散射模型，提出一种简单、快速的去雾算法，可在大幅提高处理速度的同时恢复出清晰、自然的场景图像，并通过大量外景图像验证了算法的优越性和实用价值。
- 上一篇：浅谈初中物理实验教学
- 下一篇：基于物理模型的低照度图像增强算法
