数字视频图像处理

一、背景介绍

微光夜视技术已经发展到了第4代，其标志性的背照明CCD（BCCD）以及电子轰击CCD（EBCCD）技术已经成熟[1-2]。图1分析了3代微光像增强器成像效果的对比情况[3]。从视距上看，第3代微光夜视仪是第2代的1.5到2倍以上[4]。在西方发达国家占主导地位的是3代像增强器，在我国2代像增强器占主导地位。这说明，国内外微光夜视器件的发展水平存在巨大差距。目前国外利用先进的数字信号处理技术对微光图像进行处理，更容易发现和识别目标；或利用多传感器数据融合技术，将红外与微光图像融合，提高夜视图像质量，如图2。

图1微光像增强器效果对比

图2红外与微光图像融合效果图

二、研究状况分析

2.1具有视频处理功能的CCD微光摄像机

祯积分型CCD微光摄像机[30-31]：通过控制CCD的积累时间，使微光图像信号直接在CCD电荷包中进行多帧累加，从而有效的抑制随机噪声，以提高低照度和低对比情况下的信噪比和灵敏度。另一种是采用CCD视频处理专用芯片的摄像机：CCD视频处理电路采用EXAR公司的XRD4460芯片[32]，具有相关双采样、可编程增益控制、暗电平自动校正、数字偏置控制、AD模数转换控制等功能。上述处理方式是在微光摄像机内部对视频信号进行处理的，通用性不强。 2.2以存储器和运算器为中心的微光视频数字处理技术

以运算器和大容量的数据存储器相结合构成图像处理核心单元。存储速度不高时，采取多体并行处理结构[33]。数字式实时微光图像降噪器[34]，利用微

光信号频谱能量主要分布于行频的整数倍频及附近的场频旁频上，而噪声则占据频谱中大量空白区域的特点来设计梳状滤波算法，并以此为基础设计硬件，得到较高的图像处理速度。微光图像处理和跟踪系统具有若干个硬件实时图像处理功能单元，每个图像处理功能单元适应一种特定的图像处理算法[35]。但是该方法灵活性差，算法多时功耗将显著增多。 2.3基于FPGA的微光图像实时处理技术

通过计算机仿真对图像的处理算法进行研究，选择合理的算法组合，以取得抑制噪声、增强目标的效果；然后选用FPGA中适于做图像处理的器件完成实时处理的主要流程[36]。FPGA构造的加权均值滤波器减小微光电视图的噪声[37]；FPGA构造实时视频图像直方图均衡器[38]。基于FPGA的微光图像处理技术构造也是独立系统。优点是FPGA可软件编程，能够适应不同的算法要求，且可以达到较高的运算速率；缺点是当算法比较复杂时，对FPGA的容量和速度要求较高，成本会随之增加。

2.4基于DSP芯片的微光视频图像处理器

专用的数字视频图像处理芯片如LSI LOGIC公司的直方图/Hough变换处理器L64250、二值滤波等；这些芯片构造体积小、功耗低、性能高的模块化实时图像系统是比较方便的。SC-I型实时图像处理系统[39]是一种小阵列的流水线处理机，具有体积小、功能强、编程灵活、全实时处理的特点。基于专用DSP芯片的视频图像处理器其算法和硬件也是对应的，系统的灵活性有点不足。通用DSP芯片的发展解决了上述问题；近年来通用DSP芯片得到迅猛的发展，主频不断提高，内存成倍增加，功耗却迅速下降。能满足实时图像处理的需要；也是本文的研究点。 三、理论分析

微光视频图像的主要特点是噪声强、有用信号弱、对比度低、图像整体亮度不合理。DSP微光视频处理系统主要针对微光系统的上述弱点，通过高速数字信号技术对其进行实时化处理，以除去噪声、提高图像对比度、合理调整图像亮度、优化像质从而改善微光电视系统的夜间观察效果，提高其作用距离。 DSP微光视频处理系统的处理流程如图3所示；本文将沿着该系统信号的处理流程，对DSP微光视频处理各个阶段信号的特征、可能存在的问题及处理方法进行深入探讨，由此建立起DSP微光视频处理的理论依据。

图3微光视频处理系统信号流程图

3.1微光视频信号的表征

从图3看出，在DSP微光视频处理系统信号流程的各个阶段，微光视频信号有着不同的形态：以标准模拟视频输入，经内部数字处理之后，又以标准模拟视

频输出。故应先对微光情况下的标准模拟和数字两类视频信号进行深入研究，以利于进行有效的处理。 3.1.1微光模拟视频信号

微光模拟信号是指：低光照条件下，景物经过光学系统成像，并通过像增强器，最后耦合入CCD摄像机所形成的标准模拟视频信号。它既具有普通标准模拟视频信号的所有特征，同时又受微光条件影响。

图4微光模拟视频信号的形成

图4表示微光模拟视频信号的形成过程。图5为黑白测试条纹的微光图像及相应的标准模拟视频波形图，其中环境照度为10-3Lx。从该图可以看出，在微光标准模拟视频信号中，即包括图像信号，又包含图像和消隐脉冲。其中同步和消隐脉冲的宽度和电平有摄像机的信号制式决定；而图像内容则由目标的内容和环境照度决定，表现为照度越低，杂波幅值越大，图像曲线变形越严重。同时，画面上回附着大量闪烁的噪声颗粒，造成对比度、分辨率明显偏低，图像边缘模糊不清。

图5黑白测试条纹的微光图像及相应的模拟视频波形

摄像机输出的标准模拟视频信号可以看作是扫描点以速度v1和v2分别沿着水平及垂直方向周期移动形成的，故可以用傅立叶级数表示：

其中，Sk1，k2是二维傅立叶级数的系数，L表示水平行宽，H表示垂直帧高。

表示水平基频，表示垂直基频。

电视图像视频信号如图6所示，有图及上述公式知：电视图像信号的频谱是以行频为间隙的离散分布，在行频的两侧，又以帧频为间隙分布。对于微光视频图像，这些空隙被噪声占据。

图6电视图像信号的频谱

3.2 微光数字视频信号

图3所示为DSP微光视频处理系统的信号流程，可进一步细化为图7；这里图像处理过程都是以数字信号的形式进行的。

图7细化的DSP微光视频信号处理流程图

微光数字视频信号的形成：微光模拟视频信号在垂直时间方向上是离散的，而水平方向则是连续的。如果在水平方向上沿着扫描线对微光模拟视频进一步离散化，就形成了微光数字视频信号；这个过程可用图8来表示。

图8微光数字视频的形成过程

微光数字视频的表征： （1） 栅格表示法

微光数字视频信号可表示为时空域内离散像素的集合，这种集合称为采样栅格。图9（a）为一帧2:1隔行采样的数字视频图像栅格，（b）则示出了各场之间采样点的对应关系及其时间顺序。

（a）完整的离散图像

（b）场之间的时间关系

图9 2:1隔行采样的数字视频信号栅格表示法

（2） 采样矩阵表示法

采样矩阵表示法实际上是微光数字视频点阵的三个基本矢量，通过它可以确定该点阵中所有像素的时空坐标。微光数字视频的2:1采样矩阵表示式如下：

这里三个基本矢量为：

。

（3） 位图（BMP）表示法

位图表示法是图像栅格在物理存储空间中的具体化。为了提高数字图像处理的效率，图像栅格中的数据需按一定的规律在帧存储器中排列，称之为位图。位图的五个关键参数：起始地址，每行像素个数，行间距值，行数及每个像素的位数。

3.3微光视频图像处理中目标运动影响的分析 3.3.1 目标运动对微光视频图像处理效果的影响

图10中，（a）（b）分别通过BBG-302中微光视频观察系统采集到的两个相邻帧，这两个帧中目标位置有所变化，（c）为（a）、（b）的算术平均值。可以看到，在（c）中，图像噪声虽然减小了，但目标却出现了脱尾现象，这种拖尾现象是由于用静止图像处理算法来处理运动图像引起的。

图10 目标运动对帧平均法图像处理效果的影响

在视频中，由于目标的运动导致相邻视频帧的内容有所不同，这对图像处理的结果会产生一定的影响。在微光视频图像处理中，必须对目标的运动情况有所了解，这样才有可能采取适当的滤波策略，获得较好的图像处理效果和系统的实时性。

3.3．2微光视频估算原理

视频信号的特点在于：相邻帧在内容上有很强的相关性，时间上又有一定的冗余性。相关性说明相邻两帧之间目标的运动具有因果关系，冗余性则是指相邻两帧之间有一定的时间间隔。这两点是对微光视频的估算成为可能。

目标运动造成相邻帧的视频图像亮度分布发生变化，运动估算即是根据这种亮度分布的变化来估计目标在像面上的二维投影运动；它有两个常用的约束条件[51]：

（1） 光流约束

对于点目标，其运动轨迹在二维像面上投影的每一点处，亮度保持不变，这就是光流约束条件。显然，这里忽略了环境照明的变化以及目标隐现与遮蔽物的影响。 （2） 平滑限制

平滑限制是指在所考察像素的某一临域内，所有相素点的运动矢量保持一致。它对消除或减小图像噪声的影响是有利的，但在边界处，却又容易造成误判。

根据帧间图像亮度分布变化对目标运动进行估算时，需要合理运用两个条件；其中，光流约束是最基本的条件，而平滑限制则是减小运算量。 3.3.3微光视频运动估算方法

视频运动的估算方法包括光流方程法、像素递归法、贝叶斯法和块匹配法等，下面进行简介：

光流方程法：光流方程法就是光流约束条件的数学化，如下式所示。

它将运动速度（v1，v2）以及像素亮度在空间方向的变化率和时间方向的变化率联系起来。这样就可以通过测定像素亮度在空间和时间方向上的变化量值来估算出它的运动速度。

像素递归法：通过给定被估算运动的“预期值” ，在此基础上再用更新项进行“校正”，来估算当前运动矢量，如下式所示：

一般取相邻前一个像素估算所得的最佳值作为预期值，这相当于在两个相邻像素之间增加了平滑约束，而更新项则通过最小化一个正定的位移帧差的函数得到，这相当于在两帧之间施加了光流限制。

贝叶斯法：这种方法将二维运动估算看作最大后验概率估算问题（MAP），在给定两个图像帧gk，gk-l的情况下，使后验概率最

大位移矢量（d1,d2）即为所求。 块匹配法： 该法首先将图像分割成一个个“块”，并认为每个块内所有的像

素具有单一的运动矢量。然后根据一定的匹配准则，通过在两帧中寻找相匹配的块以确定目标的运动矢量。

上述几种方法中，光流方程法、像素递归法和贝叶斯法运算量都较大，因而不适合对实时性要求较高的微光视频图像数字化处理；而块匹配运动估算法在尺寸选择合适的情况下，既能有效表达被评估目标的运动，又可以大大减少待处理像素的数目，因而，对于微光数字视频处理这种实时性要求较高的场合，是比较合适的。