基于场景深度的雾天图像能见度检测算法

白动化仪表Vol.38 No. 9

Sep. 2017

PROCESS AUTOMATION INSTRUMENTATION

基于场景深度的雾天图像能见度检测算法

徐敏1>2,张红英i’2,吴亚东3’4

(1.西南科技大学信息工程学院，四川绵阳621010;

2.西南科技大学特殊环境机器人技术四川省重点实验室，四川绵阳621010;

3. 西南科技大学计算机科学与技术学院，四川绵阳621010;

4.西南科技大学核废物与环境安全国防重点学科实验室，四川绵阳621010)

摘要：针对传统能见度测试方法存在硬件成本较高、操作复杂、不能大范围使用等缺陷，提出了一种简单、快速的基于图像的能见 度测量方法。首先，对图像进行感兴趣区域的提取、阈值分割和形态学处理。然后，基于大气退化物理模型和暗通道先验原理，估计 透射率。再利用同一场景中不同角度所获取的两幅图像提取像素突变点，从而结合摄像机的内部参数估算场景深度。最后，根据能 见度检测原理求取大气消光系数，进而获得图像的能见度。试验结果表明，该算法与人眼观测效果一致，准确率较高。与传统方法相 比，该方法操作简单、抗干扰性强，不需要任何摄像机标定，并且适用范围广。关键词：计算机视觉；大气光学；能见度；透射率；消光系数中图分类号：TH-89;TP39

文献标志码：A

DOI：10.16086/j. cnki. issnlOOO -0380.201709021

Image Visibility Detection Algorithm

Based on Scene Depth for Fogging Environment

XU Min1 ZHANG Hongying1 2 , WU Yadong34

(1. School of Information Engineering,Southwest University of Science and Technology,Mianyang 621010,China；

2.

3.

Robot Technology Used for Special Environment Key Laboratory of Sichuan Province,Southwest University of Science and Technology,Mianyang 621010,China；

School of Computer Science and Technology,Southwest University of Science and Technology,Mianyang 621010,China；

4. Key Science on Nuclear Wastes and Environmental Safety Laboratory,Southwest University of Science and Technology,Mianyang 621010,China)

Abstract： The traditional visibility detection methods feature many defects,e. g. ,high costs of hardware,complex operation,and small detection range,etc. ；to overcome these problems,a simple and fast measurement method of the visibility based on image is proposed. Firstly,the region of interest (ROI) of the image is extracted,and threshold segmentation and morphology treatment are carried out. Then, the transmittance is estimated based on the physical model of the atmospheric degradation and the dark channel prior principle, the pixel mutation point of the two images taken from different angles in the same scene is extracted, thus the scene depth is estimated from the internal parameters of the camera. Finally, the atmospheric extinction coefficient is found according to the principle of visibility detection； and then the visibility of image is obtained. The test results show that the algorithm is consistent with the observation effect of human eye, and the accuracy rate is high. Compared with traditional methods, this method is simple, offering strong anti - interference capability and wide applicable range, even any camera calibration is not needed. Computer vision； Atmospheric optics； Visibility； Transmittance； Extinction coefficientKeywords：

人们的重视。能见度的检测有利于人们的交通出行，

^ S

随着计算机视觉的不断发展，能见度越来越受到

同时，也可以体现空气质量的好坏。因此，如何快速高效地测量能见度距离是当前的研究热点。目前，关于

修改稿收到日期:2017 - 04 - 07

基金项目：国家自然科学基金资助项目（61303127)、四川省科技厅科技支撑计划基金资助项目（2015GZ0212/2014SZ0223 )、四川省重点

实验室开放基金资助项目（13zxtk05)

作者简介:徐敏（1994一），女，在读硕士研究生，主要从事数字图像处理方向的研究。E - mail: 178848524@ qq. com。

张红英(通信作者），女，博士，教授，主要从事数字图像处理、模式识别方向的研究。E-mail:Zhywyd@163.C〇m。

• 90 •

自 动化仪表第38卷

能见度的检测方法主要有传统方法和基于图像处理技 术的能见度估计算法。

能见度是指在当时的天气条件下，正常的人眼视 力能够从背景中确认目标物的距离。常用的传统能见 度测量方法一般分为目测法和使用大气射仪、散射仪 等仪器的器测法[1]。但前者带有较强的主观性，因此 测量精度不高，而器测法虽然在精度上得到了很大的 提高，但其硬件设备高度较高、占地面积较大，对周围 的环境要求较高，必须视野开阔、无遮挡物。因此，研 究基于图像处理技术的能见度检测算法已成为一种新

的主流方向。Liaw等[2]提出利用光锐图像和Haar函 数来降低非一致光照的影响，从而提高能见度估计精 度。Bamri[3]研究了对比度分布与大气能见度之间的 映射关系来计算能见度，由于技术水平有限，且该方法 操作流程复杂，需要许多外部的标定信息，因此没有得 到推广。HaUtiere[4]提出了利用双目视觉技术来得到 场景的深度图，再利用深度信息和对比度来估计能见 度的方法。该方法只适用于雾天场景的测量，不仅需 要对摄像机标定[5_7]，还需要不断地进行角度修正;此 方法易受外界环境的影响。陈钊正等[8]提出了采用小 波变换提取图像边缘特征点，再结合摄像机自标定模 型的方法。该方法对于摄像机采集距离有一定的限 制，所取的目标大约在500 m以内；此外，需要不定时 清理摄像机，以防能见度检测出现偏差。刘建磊等[9] 提出一种基于拐点线检测滤波器的能见度检测算法， 但该算法计算量大，且不适合检测非勻质天空情况下 的能见度。

在图像理解和计算机识别方面，Bronte等[1°]利用 雾的模糊效应，实现雾天的识别，同时结合道路的消失 点与摄像机参数来估计能见度。该算法虽然提高了雾 天识别和能见度的精确度，但在雾浓度较大的场景下， 该算法在区分天空与道路部分上，难度增加，因此鲁棒 性较差。在文献[10]利用消失点估计的基础上，文 献[11]结合了自定义区域增长和基于加权平均值的 拐点估计，进一步提高了拐点估计的准确性。但是该 算法在路面起伏较大的情况下准确率较低。

为克服以上方法的缺陷，本文提出了一种利用图 像测量雾天能见度的算法。该算法根据雾天成像模型 和暗通道先验原理，基于图像像素突变点的特征与双 目立体视觉的视差特性，结合了相机成像原理的几何 模型来检测能见度。该算法测量方便、快捷，成本较 低，不易受外界环境的干扰，对于摄像机的要求也不 高;同时，其可以完全达到自动检测能见度的效果，因 此应用前景更为广泛。

1基于图像的能见度检测算法

能见度作为一个复杂的物理量，其好坏主要取决

于空气中悬浮的各种微粒对大气消光系数的衰减，其 次是人眼能区分的最小亮度对比值，该值越小，则能见 度越大。如果目标物刚好能够辨别，则意味着视觉对 比度达到眼睛的对比阈值。在航空气象部门，为确保

飞行安全，国际民航组织（international civil aviation organization,ICAO)将视觉阈值取为0• 05[12]，因此在计 算过程中选取对比阈值^ = 〇. 05)。

本文所提出的能见度检测算法由透射率估计、场 景深度估计以及能见度估计三部分组成。①图像透射 率的估计:将输入图像进行预处理，提取感兴趣区域 (region of imterest，ROI)，求取透射率值。②场景深度 估计:对两幅图像利用其区域特征信息进行阈值分割， 将获得的图像进行形态学处理，再通过视差图计算像 素突变点，从而恢复图像的深度信息，得到场景深度 值。③能见度估计:根据透射率与景深深度求得消光 系数，进而估计能见度的大小。能见度检测具体流程 如图1所示。

(开始 )读入图像

ROI提取 阈值分割

计算透射率

形态学处理利用视差的像素

突变点，估计景深

计算能见度

图1 能见度检测流程图

Fig. 1 Flowchart of visibility detection

1.1能见度检测原理

1924年，Koschmieder建立了观测者在远处地平天 空下所看到的目标物的视觉对比度与其本身亮度对比 度的关系，SP Koschmieder 定律[13]:

C =

(1)

式中:C为目标物与背景的相对亮度差;C。

为常数，是 目标物的固有亮度对比度^为消光系数，表征任意情 况下大气透明度的一个特征量W为观测员距离目标 物的距离。

第9期基于场景深度的雾天图像能见度检测算法徐敏，等

• 91 •

根据ICA0推荐的对比阈值，式（1)可表示为：

s = e aV

(2)即：

根据大气衰减模型，太阳光在大气中的衰减满足 指数定律：

/ = /〇，

(4)

式中:/。为发射光光强;/为接收光光强;///。为透射 率^为消光系数^为拍摄场景中某场景点与传感器 之间的距离，即为场景深度。

则消光系数^可推导为：

由此可见，能见度的估计关键在于求得透射率^ 和场景深度‘从而确定消光系数^最终得到能 见度。

1.2透射率的估计

图像能见度的估计值与图像中天空所占区域的大 小有关。当场景中存在浓雾时，图片上面的天空部分 与地面部分的边缘、梯度、对比度等信息将会减少，由 此增加区别地面与天空部分的难度;其次，图片下方可 能出现移动的物体，如车辆等，存在大量噪声点，并表 现出很多不需要的细节，从而影响测量效果。因此，为 了保证透射率的计算值更具一般性，防止图像因噪声 干扰而导致计算不准确问题，本文在进行透射率估计 前，将图像中间区域的70%设置为ROI区域。

1975年，Me Cartney提出大气退化物理模型。该 模型包含衰减模型和大气光模型两部分，如图2所示。 衰减模型即直接传播，是大气光能量从场景点到观测 点的衰减过程。因为空气中的各种微粒，光波在传播 的过程中会受到这些悬浮微粒的散射作用，从而产生 能量的衰减。大气光模型描述的是大气光因为在空气 柱中发生折射进入人眼或成像设备所感受到的光强 度。随着传播距离的增大，环境光强度也随之增强。

图2大气退化物理模型示意图

Fig. 2 Physical model of atmospheric degradation

雾天图像降质过程可以用退化模型表示，即：

I(x) = J(x)t(x) + A[l (6)

式中为拍摄的有雾图像;/为需要恢复的无雾图像; 4为大气光值，表示周围环境光的总强度为雾霾 的介质透射率，代表了场景目标的深度信息。

当大气同质时，介质透射率为：

t(x) = e’ (7)

式中#为大气消光系数W为场景深度。

根据何恺明提出的暗原色先验理论[14]，即对于户 外无雾的图像中存在绝大多数局部区域（除去天空区 域）的某一些像素至少有一个颜色通道具有很低的强 度值，这些像素被称为暗原色像素。对于图像/，暗通 道定义为：

•Zdarkb) = CjGi\\r9ng,b」\\ y^Om化{x)[人(3〇]丨—0

(8)

式中为以像素点％为中心的一块区域;人为无 雾图像/的三个颜色通道的一个;/daA为无雾图像/的 暗原色。对于/的非天空区域，/daA的值趋近于〇。在 雾天情况下，由于雾的颜色的干扰，使得图像的整体像 素强度得到提高。因此可以利用这些暗原色的强度状 况来判断雾的浓度大小，从而估计透射率W 4。1.3场景深度的估计

本节提出一种根据相机成像原理中视差与深度信 息的关系，利用图像的像素突变点进行能见度估计的 方法。首先，对同一场景中不同角度的视图进行预处 理，消除图中存在的噪声、干扰以及失真等现象。然 后，提取左右视图的像素突变点，并结合摄像机的某些 内部信息来估算能见度值。1.3.1图像预处理

从图像中获取符合立体视觉原理的左右图像对， 由于各方面因素的影响，会不可避免地存在各种噪声 和干扰，从而使得图像质量的下降。因此，在对其进行 分析与能见度估计之前，必须对原始图像进行预处理。 图像预处理就是采用一系列的技术方法来降低噪声等 因素的影响，改善其视觉效果，突出其中的有用信息， 降低无用信息。基于上述问题，提出了预处理方法，步 骤如下。

①采用阈值分割法将图像二值化，提取图像的特 征信息。

为了从图像中提取出需要的特征信息，首先要判 断哪些像素点是阈值需要的，其次判断这些像素点是 否属于目标区域，根据这种方法便可以将灰度图转换

为二值图像。设/U，y)为原始图像，为分割的阈值 大小，则最终获取的图像满足式(9):

• 92 •

自 动化仪表第38卷

f(x,y)^ T1〇 f(x,y) < T(9)

根据大量的试验数据分析及不同的场景分析，本 文采取手动选取阈值的方法，从而提高试验效率，即在

中雾与浓雾的环境中分别将T7取值为〇.7、0. 5。图像 分割处理图如图3所示。

(a)中雾 （b) JH>.7

(e)浓雾 （d)

图3 图像分割处理图

Fig. 3 Image segmentation processing

②采用形态学处理对图像进行降噪平滑。利用形态学上的开运算和闭运算对图像进行降噪 平滑处理，消除图像中小且无意义的点，填充图像中的 空洞。某一幅图像的预处理结果如图4所示。

(a)源图像

（b)阈值分割图像

（c)形态学处理图像

图4预处理结果示意图

Fig. 4 Pretreatment results

1.3.2场景深度计算

视差是一种可以反映深度信息的现象，双目视觉 就是模拟人眼观察事物的原理，从多个角度观察同一

个场景以获取感知图像，然后根据不同角度下的图像 像素的匹配关系来提取三维信息，从而恢复场景深 度[14^5]。目前，基于图像深度计算的方法有许 多，常见的主要有光度立体视觉法、散焦推断法以及基 于机器学习等方法。本文主要从分析同一场景不同角 度拍摄的两幅图像出发，在同一场景下比较不同角度 拍摄的图像特征，寻找它们之间的不同点;再利用这些 不同点的信息与摄像机的内在参数相结合来进行景深 估计，从而计算出场景深度。

假设两个相机的内部参数一致，如相机分辨率、焦 距等，下面主要借助几何和代数的方法来描述视差与 景深的关系。为了描述方便，引入了相关的坐标，如 图5所示。假设两个相机处于同一水平线上，且像平 面重叠为同一个，坐标系以左相机为原点，则右相机是

左相机的简单平移，用坐标表示为（7；，0，0 )，其中7； 为基线，是两个相机中心的距离。

P=(X，Y,Z)图5相机坐标示意图

Fig. 5 Schematic diagram of camera coordinates

然后，根据图5的相机坐标示意图，P为空间中的 一点，A和尽为点分别在左右像平面上 的成像点A为两个成像点的间距为场景深度，&、 毛分别为左右成像点到Z的距离，&为成像点距 离左右相机光轴的长度，；与心分别为左右成像点 到图像左边缘的距离，ZU、Z22分别为左右相机到Z的 距离，/为相机焦距为视差，和Of为左右相机的 光心。根据三角形相似关系，很容易得出空间中的一

点p(z，r，z)分别在像平面上的投影坐标。^ +Z2 = h、Zu +Z22 =7；，由相似三角形原理可知：

4 _

丨毛2 _

毛

Z ~ z - fz ~ Z - f从而，有：

4+4 Tx X, +X2 b,Z ~ Z ~ Z -f ~ Z -f 1 ;

第9期基于场景深度的雾天图像能见度检测算法徐敏，等

• 93 •

~可以用7；、；和心表本，即：

-.Tx-X3-Xa=Tx- (xR-f)~L_

~2

■XTTx-Xr+Xt = (Tx+Xt) -xr

(11)

最终得到：

T： = (Tx + XT) - XRz ' z-f(

12)

由此可得场景深度z为：

zTJ _ TJxr-xtd(13)

由此可知，其视差跟物体的深度成反比。

景深信息是判断图像边缘突变的重要依据[17]，本 文选择从视差的角度来分析像素点的变化，寻找同一 区域的突变点。在理想情况下，左图像的特征点都可 以在右图像中找到与其对应的点。由于噪声等因素的 影响，使得某些特征点在右图像中找不到与之匹配的 点。因此，根据这种特点，利用图像的像素灰度特征， 即像素突变点来提取场景深度信息。其基本过程是: 首先扫描一遍图像的边界、面积信息，求取当前图像的 总灰度值;其次根据图像像素点的个数求取灰度平均 值;最后利用两幅图像中像素点灰度值的突变情况设 置相对应的阈值，选取适当的阈值参数0提取视差的 像素突变点。根据试验数据，本文选取0.2作为参数 6>的值。在具体实现中，如果左右图像中相对应的像 素点的灰度值之差大于设定的阈值心那么该像素点 即为像素突变点。利用像素突变点，结合摄像机的焦 距，光轴间距离等信息的相互关系，可以将式（13)转 换为式（14)，从而得到所需要的场景深度。

Z = p< x-^~ D

(14)

式中W为像素突变点;/为焦距为光轴间距离 为单位像素的尺寸。

因此，根据上述方法，可求得透射率和场景深度; 根据式(3)，可求得消光系数，进而求得能见度F。

2试验结果分析

为了验证本文算法的有效性，在Intel i5

(2.67 GHz)、8 GB 内存、Windows 7(64 bit)环境下，在 Matlab与Opencv平台上实现该算法，并与文献[10]和 文献[11]的检测算法作对比。为了体现试验数据集 的丰富性和全面性，本文收集了不同类型（包括风景、 人物、交通、建筑等不同类型的图像）、不同大小、不同 雾天浓度的27 590幅图像，组成试验数据集。数据集 中有11 400张晴天图像，3 400张中雾图像和12 790 张浓雾图像。

能见度的等级可划分为晴天、中雾、浓雾，对应的

能见度范围如表1所示。

表1

能见度等级范围 Tab. 1 The ranges of visibility

能见度等级

能见度范围/m

定性晴天V>1 000

好中雾200

000

一般浓雾

F<200

差

表2给出了文献[10]、文献[11 ]以及本文算法的 能见度检测试验数据。从表2可以看出，本文算法在 整体上优于现有的检测算法，在能见度检测上取得了 一定的效果，尤其在晴天与浓雾下检测精度更好。

表2

能见度检测试验数据

Tab. 2 The experimental data of visibility detection

能见度

检测图片 检测率

等级数目

文献[10]

文献[11]

本文

晴天11 40081.392.5294.3中雾3 40088.191.7092.9浓雾

12 790

85.3

93.30

93.7

试验数据比较结果如图6所示。图6(a)为本文算 法的测量结果和参考文献[10]〜[11]算法结果比较; 图6(b)为三种算法的能见度检测距离的相对误差。其 相对误差的定义如下：

相对误差:

I测量值-真实值I

4oo 2oo s

0oo/褪 圈 800趔 司 60o韶

4oo

200

0

2025

图片序号 (a)能见度距离

0.35

0J0

日0,,

2^5/糊0,..20,.0

雖友0. 驿,1

.!:

5

0

10 1525

图片序号 (b)相对误差

图6试验数据比较图

• 94 •自 动化仪表第38卷

从图6可以看出，本文算法的能见度测量值更接 近于真实值，其对应的相对误差也较小。

综合上述的试验结果说明，与现有的能见度检测 算法相比，本文所提算法不需要利用复杂的机器学习 进行特征提取，相反，它的思想是将同一场景下的图片 利用不同的角度寻找像素突变点来测量；同时也不需 要对摄像机安装角度等较难获取的参数进行随时标 定，因此检测方便、精确度更高、成本更低。

distance [ J ]. IEEE Transactions on Intelligent Transportation Systems,2006,7(2) ：201 -212.

[5] 宋洪军，陈阳舟，郜园园.基于车道线检测与图像拐点的道路能

见度估计[J] •计算机应用，2012，32( 12) :3397 -3403.

[6] MICLEA R C,SILEA I. Visibility detection in foggy environment[ C]//

CSCS2015 ： 20th International Conference on Control System & Computer Science,2015 ：959 - 964.

[7] 王京丽，刘旭林，雷鸣，等.数字摄像能见度系统及其比对实

验[J].电子学报，2014,42(11) :2298 -2302.

[8] 陈判正，周庆逵，陈启美.基于小波变换的视频能见度检测算法

3结束语

本文从能见度检测原理出发，利用暗通道先验原

研究与实现[J].仪器仪表学报，2010,31(1):92 -98.

[9] 刘建嘉，刘晓亮.基于拐点线的大雾能见度检测算法[J].计算

理和图像像素突变点的特征，寻找其中的相关切入点 来测量能见度。它克服了能见度测量仪占地面积大、 传统方法带有的一定主观性，以及机器学习上的相机 相关标定参数较多和易受外界影响的缺点，具有实时 性、应用成本低、操作简单方便等优势。当然，本文算 法目前也存在需要进行改善的不足之处，即能见度为 几十米的情况下的检测算法的准确度有待提高。在能 见度极低的情况下，图像的梯度、边缘、对比度等区域 特征并不明显，测量结果的精确度也随之降低，这一工 作将是今后的研究重点。

参考文献：

[1] 苗苗.视频能见度检测算法综述[J].现代电子技术，2012,

35(15) ：72 -75.

[2] IiAW J J,LIAN S B,HUANG Y F,et al. Using sharpness image with

haar function for urban atmospheric visibility measurement [ J ]. Aerosol and Air Quality Research,2010,10(4) ：323 - 330.

[3] BABARI R, HAUTIERE N, DUMONT E, et al. A model - driven

approach to estimate atmospheric visibility with ordinary cameras [ J ]. Atmospheric Environment ,2011,45(30) ：5316 - 5324.

[4] HAUTIERE N,LABAYRADE R,AUBERT D. Real-time disparity

contrast combination for onboard estimation of the visibility

机应用，2015,35(2) :528 -530,534.

[10] BRONTE S,BERGASA L M, ALCANTARILLA P F. Fog detection

system based on computer vision techniques [ C ] // International IEEE Conference on Intelligent Transportation Systems, 2009 ：

1 -6.

[11] ZHU W X. Research of fog driving scenarios and visibility recognition

algorithm based on video [ J ]. Journal of Image & Signal Processing, 2015,4(3) ：67-77.

[12 ]许茜，殷绪成，李岩，等.基于图像理解的能见度测量方法[J].

模式识别与人工智能，2013,26(6):543 -551.

[13 ] NEGRU M,NEDEVSCHI S. Image based fog detection and visibility

estimation for driving assistance systems [ C ] // IEEE International Conference on Intelligent Computer Communication and Processing, IEEE,2013：163 -168.

[14 ]张登银，鞠铭烨，王雪梅.一种基于暗通道先验的快速图像去雾

算法[J].电子学报，2015，43 (7) : 1437 -1443.

[15 ]牛连丁，陈婦婷，张立志.基于多尺度纹理特征的最小二乘法深

度信息估计方法[J].智能计算机与应用，2015，5 (4) :71 -74.

[16] 张淑芳，李华.基于一幅散焦图像的深度估计新算法[J].光电

子激光，2006，17 (3) : 364 - 367.

[17] TRIPATHI A K, MUKHOPADHYAY S. Single image fog removal

using bilateral filter[ C]// IEEE International Conference on Signal Processing,2012 ：1 -6.

(上接第88页）

的机器视觉检测系统。该系统可以实时判断工件体是否有裂纹缺陷存在，并根据检测结果对工件分类。试验结果表明，该系统运行精确可靠，对提高产品质量检测效率有较大帮助。

参考文献：

[1 ]彭飞，朱晓军，朱志洁.荧光磁粉探伤自动检测及图像处理系统

[4] TURAGE P, CHELLAPPA R, SUBRAHMANIAN V S, et al.

Machine recognition of human activities： A Survey [ J ]. IEEE Transactions on Circuits and Systems for Video Technology ,2008, 18(11) ：1473 -1488.

[5] 陈永清.基于机器视觉的磁环双端面缺陷检测系统研究[D].

杭州:浙江工业大学，2007.

[6 ]周渭，渡边健藏.近年来国外仪器与测量技术发展趋势[J].仪

研究[J ] •航海工程，2009，38 (3) : 141 -145.

[2 ] KESER T, HOCENSKI Z, HOCENSKI V. Intelligent machine vision

system for automated quality control in ceramic tiles industry [ J ]. Strojarstvo,2010,52(2) ：105 -114.

[3 ] KUMAR A. Computer - vision - based fabric defect detection: a

survey [ J ]. IEEE Transactions on Industrial Electronics, 2008 , 55(1) ：348 -363.

器仪表学报，2005,26(7):764 -770.

[7] 杨如林，丑修建，李庆，等.车辆辅助驾驶中基于概率模板的红

外行人检测[J].科学技术与工程，2014,14(10) :65 -70.

[8] 曲丽荣，胡荣，范寿康.LabVffiW、MATLAB机器混合编程技

术[M].北京:机械工业出版社，2011:69.

[9] OTSU N. A threshold selection method from gray - level histogram[ J].

IEEE Transaction, 1979 ：62 -69.