導讀

今天介紹的這篇論文是一篇關於圖像去霧相關的工作，本質上應該屬於Low-Level領域的范疇。相比於圖像分類、語義分割和目標檢測等這類研究廣泛的內容而言，Dehazing相對來說還是算比較小眾的領域，嚴可能大多數人聽過該領域的唯一印象是關於何凱明的暗通道去霧算法(CVPR'2009 Best Paper)。

眾所周知，模糊圖像對計算機視覺應用，諸如目標檢測、語義分割、深度估計、場景解析等影響還是蠻大的，因此研究如何從模糊輸入中恢復清晰圖像的圖像去霧算法整體來說還是一個非常有意義和挑戰性的工作。本文主要基於圖像去霧任務的幾大挑戰，提出瞭一個由dehazing, airlight 和 transmission 所組成的監督框架以及一個在農村和城市地區使用手機捕獲的新模糊數據集Phone-Hazy。

由於今天是我們第一次介紹該研究領域，下面筆者將簡單梳理下圖像去霧的相關進展研究並詳細的介紹下本文方法。

圖像去霧

圖像去霧領域同計算機視覺其它領域一樣，也是由傳統算法過渡到現如今的基於深度學習的方法。因此，我們可以簡單劃分為兩部分，即基於先驗的圖像去霧算法和基於深度學習的圖像去霧算法。

基於先驗的圖像去霧算法

基於先驗的圖像去霧算法同樣可根據不同的原理劃分為兩類，即基於圖像增強和圖像復原的去霧算法。

圖像增強

基於圖像增強的去霧算法的核心思想是利用一系列圖像增強技術，通過對霧圖像進行預處理即估計霧的密度(如顏色平衡和白平衡操作等)、通過計算場景中的深度來估計霧的傳輸因子或者通過一些背景估計算法來估計背景信息，從而還原出清晰的圖像。例如FVR[1]算法本身是利用自適應直方圖均衡化技術和霧的傳輸因子來增強原始圖像的對比度和清晰度，以去除霧的影響。

圖像復原

基於圖像復原的去霧算法大都是基於大氣退化模型。這是因為大氣對圖像的影響是主要的霧化因素，導致圖像的對比度降低、色彩失真和細節模糊。因此，理解大氣對圖像的影響，建立適當的大氣退化模型，是進行圖像去霧的關鍵。基於大氣退化模型的去霧算法通常假設圖像中的每個像素都受到相同的大氣光影響，且大氣的光傳播是通過透射率來建模的。這種模型可以根據大氣光的強度、大氣密度、攝像機高度和視場等參數進行調整，以便更好地恢復出原始圖像。

此類方法的典型代表作當屬凱明的暗通道圖像去霧算法DCP[2]。其通過觀察室外自然圖像的暗通道，發現在非霧區域的像素在暗通道上的值通常很低幾乎接近於0，而霧區域的像素在暗通道上的值通常比較高，因此可以根據這個先驗知識來估計霧的密度和分佈，

相比於其他基於物理模型的去霧算法，暗通道先驗去霧算法的優點在於不需要估計霧的粒子大小和密度等物理參數，隻需要計算暗通道和估計全局大氣光，因此計算速度非常快。同時，該算法對一些特殊情況，如弱霧、室內等，也有較好的去霧效果。

基於深度學習的去霧算法

上面我們介紹瞭基於先驗的圖像去霧算法，此類方法大都是基於經驗觀察並人為設定先驗。雖然這些方法在一般情況下很有效，但在復雜的現實場景中，特別是在天空區域，DCP因其依賴於特定場景和假設的先驗而表現不佳，可能會產生次優的結果。除此之外，一些基於對比度最大化的[3]、基於顏色衰減先驗的[4]或者是基於非局部先驗的[5]，本質上都是一樣，極度依賴於專傢經驗和特定場景。

而基於學習的方法則是使用深度神經網絡來學習和估計大氣散射模型的參數(即無限空氣光、透射圖和無霧)或霧霾和清晰圖像之間的映射。估計參數一般可直接通過CNNs或者GANs來完成，大多數方法主要采用嚴重依賴標簽數據的監督學習方法，並且主要在人工或算法合成的模糊圖像上進行訓練。如此一來便會由於域間隙和缺乏真正的模糊/清晰圖像對而致使去霧效果並不理想。

另一方面，雖然基於CycleGAN的域自適應(Domain Apation)和不成對的去霧模型在一定程度上能夠緩解此類情況，但由於樣本分佈的差異，這些方法在現實場景中仍然未能獲得良好的去霧效果。與域自適應和不成對的監督相比，本文方法通過在成對的真實模糊數據集上進行訓練並從未對齊的參考圖像中提取有效特征，其性能表現優於先前的去霧模型。此外，作者重新定義瞭非均勻映射並提出瞭一種新穎的網絡mvSA，可以在現實場景中更準確地估計infinite airlight.

方法

7610050c88b9991e2ebdfbcbb12ae059

上圖為本文所提出非對齊的監督框架圖，其基於經典的大氣散射模型(atmospheric scattering model)所提出：

I(x)=J(x) t(x)+A_{infty}(lambda)(1-t(x)) \

如圖所示，這是一個由去霧、全局大氣光和基於大氣散射模型的傳輸網絡組成。其中一個比較關鍵的想法是使用非對齊圖像來監督去霧網絡。該框架使用允許與模糊圖像不完全對齊的清晰圖像用於訓練。通過放寬嚴格的對齊約束，在更寬松的條件下從同一場景收集未對齊的圖像對變得更加容易。

首先，本文探索瞭一種非對齊的監督設置，以使用清晰且非對齊的參考圖像來訓練去霧網絡。其次，為瞭更有效地對模糊圖像中存在的 A_{infty} 進行建模，本文提出瞭均值和方差自註意力(mean and variance Self-Attention, mvSA)網絡。 通過結合暗通道先驗(DCP)和模糊圖像，mvSA 能夠通過計算它們的平均值並預測由於波長和散射粒子的影響而引起的變化來突出模糊特征。此外，與DCP和自註意力機制相比，本文所提出的mvSA網絡更準確地限制瞭全局大氣光的范圍。

去霧網絡

去霧網絡是將輸入的有霧圖像直接生成無霧圖像。如圖2所示，我們使用DCP方法計算出一個粗糙的無霧圖像，然後將其放入去霧網絡。它的架構是一個共享的生成器網絡。有關詳細信息，請參閱CycleGAN的生成器。

傳輸網絡

傳輸網絡是通過使用圖2中的輸入模糊圖像的通道註意網絡來生成三通道傳輸圖。其體系結構是編碼器-解碼器結構，具有跨特征尺度的跳躍連接。最終的傳輸圖可以通過引導濾波器獲得。

損失函數

整體的損失函數如下：

mathcal{L}_{text {all }}=mathcal{L}_{mathrm{msr}}+mathcal{L}_{text {rec }} \

此處，mathcal{L}_{mathrm{msr}} 和 mathcal{L}_{text {rec }} 分別為對應的多尺度參考損失(multi-scale reference loss)和重建損失(reconstruction loss)。

其中，多尺度參考損失主要結合瞭對抗損失和上下文損失，充分利用多尺度上下文信息來更好的優化去霧網絡。另一方面，重建損失不僅可以監督全局大氣光、傳輸和去霧網絡的訓練，還可以保持去霧結果的特征獨立於未對齊的參考圖像。

實驗

Phone-hazy dataset

dde8202c58b2519d91db80105dd45e6dNon-aligned image pairs in real-world scenes

Compare with the latest SOTA methods

qualitative results9e49add942a9540a9ec829ee750bdf42quantitative results

More visualization results of NSDNet

總結

本文使用非對齊監督的真實世界圖像提出瞭一種新穎有效的去霧框架。該框架利用多尺度參考損失將去霧網絡的預測與清晰且未對齊的參考圖像進行比較。它可以從現實環境中收集模糊/清晰的圖像對，即使它們沒有完全對齊。此外，所提框架包括一個均值和方差自註意力網絡，該網絡在改進空氣光均值和變化的估計之前使用暗通道。最終，實驗結果表明，所提方法對真實世界圖像進行去霧方面優於最先進的方法。

References

[1] FVR: http://ieeexplore.ieee.org/document/5459251

[2] Single Image Haze Removal Using Dark Channel Prior: http://ieeexplore.ieee.org/document/5567108

[3] Visibility in bad weather from a single image: http://ieeexplore.ieee.org/document/4587643

[4] Dehazing using color-lines: http://dl.acm.org/doi/10.1145/2651362

[5] Non-local image dehazing: http://ieeexplore.ieee.org/document/7780554

寫在最後

如果您也對人工智能和計算機視覺全棧領域感興趣，強烈推薦您關註有料、有趣、有愛的公眾號『CVHub』，每日為大傢帶來精品原創、多領域、有深度的前沿科技論文解讀及工業成熟解決方案！

同時歡迎添加小編微信: cv_huber，備註知乎，加入官方學術|技術|招聘交流群，一起探討更多有趣的話題！