基于Sobel算子和CNN的车辆轨迹识别系统

2018年7月July摇2018COMPUTERTECHNOLOGYANDDEVELOPMENT

基于Sobel算子和CNN的车辆轨迹识别系统

赵摇胜1,赵学健2,张欣慧1,孙知信2,陈摇勇3

2.南京邮电大学宽带无线通信与传感网技术教育部重点实验室,江苏南京210003;

3.南京龙渊微电子科技有限公司,江苏南京210000)(1.南京邮电大学物联网学院,江苏南京210003;

摘摇要:随着机动车保有量的飞速增长,由此带来的交通安全问题以及如何有效地监控交通运输车辆和分析车辆轨迹行为成为当前社会关注的热点之一。对目前现有的车辆轨迹识别技术进行了改进。车辆的轨迹识别主要包括车辆目标识别和连续视频帧中车辆位置的定位两个部分。采用HSV颜色模型和Sobel算子相结合的技术来快速提取车辆目标的候选区域信息,将该信息输入到训练好的CNN模型中以完成车辆目标信息的提取。然后根据前后帧的关联性提取每帧视频中车辆的位置,通过以上步骤可以计算得到车辆一系列连续轨迹点,进而分析车辆在行驶过程中的状态。实验结果表明,该系统不仅能够准确地识别出视频中车辆目标,而且在连续视频帧中能够有效地对车辆轨迹进行跟踪识别。关键词:CNN;轨迹跟踪;Sobel算子;HSV模型

中图分类号:TP302摇摇摇摇摇摇摇文献标识码:A摇摇摇摇摇摇文章编号:1673-629X(2018)07-0169-04doi:10.3969/j.issn.1673-629X.2018.07.036

VehicleTrajectoryRecognitionSystemBasedon

SobelOperatorandCNN

(1.InternetofThings,NanjingUniversityofPostsandTelecommunications,Nanjing210003,China;

NanjingUniversityofPostsandTelecommunications,Nanjing210003,China;

ZHAOSheng1,ZHAOXue-jian2,ZHANGXin-hui1,SUNZhi-xin2,CHENYong3

2.KeyLaboratoryofBroadbandWirelessCommunicationandSensorNetworkTechnologyofMinistryofEducation,

3.NanjingLongyuanMicroelectronicsTechnologyCo.,Ltd.,Nanjing210000,China)

Abstract:Withtheincreasingofmotorvehiclesrapidly,theresultingtrafficsafetyandhowtoeffectivelymonitorthetrafficvehiclesandanalyzethevehicletrajectorybehaviorbecomeoneofthesocialhotspots.Forthis,wehaveimprovedtheexistingtechnologiesaboutthetrajectoryrecognitionofvehiclewhichmainlyincludestwoparts:theidentificationofvehicletargetsandthepositionofthevehiclebe鄄tweenthecontinuousvideoframes.UsingtheHSVcolormodelandtheSobeloperatorcanquicklyextractthecandidateregion爷sinfor鄄mationofthevehicletargetandtheinformationisinputtothetrainedCNNmodelforextractionoftheinformationofvehicletarget.Andthenaccordingtothecorrelationbetweenthefrontandrearframes,thepositionofthevehicleineachframecanbeextracted.Throughtheabovestepswecancalculateaseriesofcontinuoustrackpointsofthevehicle,andthenwecananalyzethestateofthevehicleontheroad.Theexperimentshowsthatthesystemcannotonlyidentifythevehicletargetinthevideo,butalsocantrackthevehicletrajectoryinthecontinuousframes.

Keywords:CNN;trajectorytracking;Sobeloperator;HSVmodel

0摇引摇言

近年来,随着经济和交通运输业的快速发展,道路

上的机动车保有量迅速增加,而由此带来的交通问题也越来越严重,给人们的出行和生活质量带来不少的

收稿日期:2017-06-30摇摇摇摇摇摇修回日期:2017-11-09摇摇摇摇摇摇网络出版时间:2018-03-07

基金项目:国家自然科学基金(61373135,61401225,61572262,61502246,61672299);中国博士后科学基金(2015M581844);江苏省基础研究计

划(自然科学基金)(BK20140883,BK20140894,BK20150869);江苏省博士后科研资助计划项目(1501125B);南京邮电大学校级科研基金(NY214101,NY215147)

作者简介:赵摇胜(1993-),男,硕士,研究方向为信息网络技术及其在物流工程中的应用;赵学健,副教授,研究方向为无线网络关键技术及海

量数据的数据挖掘算法。

网络出版地址:http://kns.cnki.net/kcms/detail/61.1450.TP.20180307.1416.014.html

摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇计算机技术与发展摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇第28卷·摇17摇0·

困扰。因此,人们日益关心如何用计算机技术来有效管理交通中的车辆,以此来解决交通拥堵和交通安全等方面的问题。随着图像处理技术和计算机视觉的快速发展,基于实时视频分析的智能交通系统也越来越受到人们的关注,从视频帧序列中准确地检测出车辆目标是智能交通的一个重要研究内容。通过对道路上的摄像头所拍摄到的实时交通视频进行分析,实时检测车辆的位置以及轨迹信息来分析车辆的行驶状态等一系列的问题,能够有效地监管交通运输中的车辆,从而极大地提高交通运输效率、保障交通安全。

置的区域输入到卷积神经网络进行车辆的分类筛选,降低了卷积神经网络计算过程中的复杂运算,从而在保证车辆识别精度的前提下,提高了实时视频中车辆识别的实时性。系统流程如图1所示。

基于特征信息的车辆识别是指通过对大量的车辆样本学习来提取车辆的特征模型,该模型能够针对视频中车辆目标进行有效的识别分类。文献[1]采用HOG特征来描述车辆的轮廓信息,利用支持向量机为了有效地减少提取(SVM)良好的二分性特点来进行车辆的分类识别HOG特征的时间,在HOG检测。阶段对图像进行缩放和窗口扫描与合并进行并行化,

弥补了HOG特征提取的时间消耗,能够较快、较准确地识别出车辆[1]HOG特征的提取。,解决了文献[2HOG]使特征提取速度慢的问用GPU完成了车辆题。文献[3]中提出的基于显著性与车底阴影块的车辆感兴趣区域提取算法,对比基于灰度图车底阴影线提取的车辆检测和识别算法,在车辆感兴趣区域提取阶段就可以减少大量的干扰区域,降低后期识别等操作的负担,使用分类器可以进一步对感兴趣区域进行分类识别。

文中针对提高视频中车辆目标识别的准确性进行了研究。传统的SVM对大规模训练样本难以实施[4]一定,的使得误识SVM别率

在车辆目标识别的精确度上仍存在[5-6]

HOG提取算法过于,复采杂用而HOG不适+用SVM于实的时方视法频由分于

析[7-8]目标的识别分类。而采用深度学习的方法可以更好地提高车辆。首先截取实时视频中的视频帧并进行分析,在每一帧中采用HSV颜色模型提取目标区域中颜色相对于背景区别明显的区域,将该区域作为车辆目标的候选区域,然后再使用Sobel算子对视频帧图片中的其余区域进行轮廓区域的识别筛选,加入到车辆目标的候选区域,将得到的所有车辆目标候选区域输入到卷积神经网络中进行车辆目标的提取,计算每帧图片中车辆的中心位置,根据前后帧中车辆的关联性得到车辆运行的轨迹点信息[9]。

1摇系统模型

车辆识别包含了两个过程:提取车辆目标候选区域和提取车辆目标。文中采用HSV+Sobel算子对图片进行车辆候选区域的快速筛选,将可能存在车辆位

图1摇系统流程

2摇2.1摇算法原理

车辆目标候选区域提取

2.1.1摇采用HSVHSV颜色空间目标提取

颜色空间模型提取图片帧中颜色相对

于背景区分度较大的区域,可以将它作为车辆目标的候选区域。首先将每一帧图片中的像素转化到HSV颜色空间,HSV模型中颜色的参数由色调(H)、饱和度(S)和亮度(V)组成。不同颜色对应的HSV模型中H的取值范围如下:Orange:0~22,Yellow:22~38,Green:38~75,Blue:75~130,Violet:130~160,Red:

160帧中需要检测的特定颜色车辆设置阈值~179。用H值可以代表该区域的颜色值[a,。b]对视频,对符合[a,b]的像素点设置为255,否则设置为0,即对特定颜色区域进行二值化处理。HSV颜色空间转换如图2所示。

图2摇HSV颜色空间转换

对二值化处理后的图片计算其候选目标所占据矩形的面积s,设定一个阈值k,当满足s>k时才保留该区域的坐标,并将该图片及坐标加入到候选区域中。该方法可以有效地筛选道路两侧可能出现的干扰

摇第7期摇摇摇摇摇摇摇摇摇摇摇摇赵摇胜等:基于Sobel算子和CNN的车辆轨迹识别系统·171·

因素[10]。

使用HSV颜色模型提取出车辆候选区域依赖于

得到S4层[17],并最终输出分类结果。

将前面提取的车辆的候选区域目标集合作为参数

颜色信息,对于给定的颜色值可以迅速地提取出车辆可能出现的位置,但是会受到道路两侧的树木等因素的干扰。例如以黄色为例,在提取黄色候选区域时,会将大块的草丛误认为车辆。因此为了排除这些干扰,将这些提取出来的区域都作为车辆的候选区域,并将2.1.2摇Sobel算子轮廓提取

其输入到卷积神经网络中进行下一步的分类。

输入到卷积神经网络中,进行车辆目标的提取及定位。经过卷积神经网络识别分类后,将干扰目标排除,得到车辆目标的位置信息的集合。2.3摇车辆轨迹提取

以图片帧的左上角为原点,建立车辆运动轨迹坐标系,如图4所示,在车辆的坐标系下分析车辆的运动,车辆的中心坐标点可以由目标识别阶段获得。

Sobel算子是一阶导数的边缘检测算子,通过3伊3

模板作为核与图像中的每个像素点做卷积和运算,然后选取合适的阈值来提取边缘[11]横向和纵向的梯度G。先分别计算图像Gx和Gy,公式如下:

x=(Z7+2Z8+Z9)-(Z1+2ZG2+Z3)y=(Z3+2Z6+Z9)-(Z1+2ZSobel算子利用G4+Z7)

(1)(2)

x和Gy之和G作为检测边缘的依据,当G大于一定的阈值时,则认为是物体的边缘点,在得到所有的边缘点后,将所有的点连通,即构成了目标区域的轮廓信息[12]针对HSV在提取与背景色相近的目标区域时的

。

不足,采用Sobel算子提取图片中与道路背景色相近的目标区域的轮廓。通过提取出的轮廓计算候选区域的目标的坐标位置,并将第二次提取出的候选区域加入到第一次提取的候选区域中,然后将所有的候选区域输入到预先训练好的卷积神经网络,去除干扰目标(筛选出车辆目标如道路两侧的路灯,进行车辆的定位跟踪、树木等)的影响,[13]从候选区域中2.2摇卷积神经网络车辆识别

。

采用ThePASCALVisualObjectClassesChallenge

2012(标的分类模型voc2012)[14]数据集进行卷积网络训练。卷积神经网络结构如图,得到车辆目3所示。图3摇卷积神经网络结构

将voc2012中车辆的图片数据集通过和3个可以训练的滤波器进行卷积[15-16]C层属于特征提取层,每个神经元的输入与前一层,得到C1层的三个特征图,的局部感知相连并提取该局部的特征,然后特征映射图中每组的4个像素进行求和,加偏置,加权值,得到一个S2层的特征映射图。再将这些特征映射图输入到滤波器中得到C3层,然后如同C1层生成S2层那样

xtopleftObjectObjectyObjectrightbottomG图4摇车辆坐标计算

使用Sobel算子检索车辆轮廓信息,获取车辆最外侧的轮廓信息,计算车辆识别框的位置信息(left,top,right,bottom),并保存车辆中心坐标位置(x,y)。

{x=left+(right-left)/2

y=top+(bottom-top)/2

(3)

3摇实验结果与分析

为了验证该方法的有效性和可行性,实地拍摄了一段交通路口的视频进行分析。该路口道路路面有5个车道,车流量较大,道路两侧有花坛、树木等干扰因素。视频格式为avi,图片大小为856伊480,时长约为90GPUs。为实验环境titanX。:开处理器为发环境:icuda7-3770,7.5+内存大小ffmpeg2.08.7G+,opencv3.0.0+qtCreator5.5.1。

为了验证系统的功能,对系统进行整体测试。在初步进行特定颜色车辆的筛选过程中,由于这几种颜色与背景模型的颜色差别较大,该算法可以以最快的速度筛选出第一部分的车辆候选区域。

其次,测试颜色与道路背景相似的车辆。采用

Sobel算子快速筛选出轮廓面积区域大于一定阈值的车辆候选区域,该算法可以弥补HSV颜色空间在识别车辆上的不足,进一步提取出图片帧中可能存在车辆的位置区域。

Sobel算子轮廓提取如图5所示。

然后将整个系统进行测试,即将HSV+Sobel算子筛选出的车辆候选区域输入到卷积神经网络模型进行车辆的识别筛选。

摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇计算机技术与发展摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇第28卷·摇17摇2·

为了验证该方法的有效性,将其与传统的车辆识别方法进行对比实验,分别统计车辆目标识别的准确性,结果如表1所示。由表1知,提出的HSV+Sobel+CNN的方法在车辆目标的识别准确率和误识别率上较其他方法更好。

辆识别方法[J].计算机科学,2013,40:329-332.

[5]摇LEESH,BANGM,JUNGKH,etal.Anefficientselection

ofHOGfeatureforSVMclassificationofvehicle[C]//2015IEEEinternationalsymposiumonconsumerelectronics.Ma鄄drid,Spain:IEEE,2015:1-2.

[6]摇SUNDiqing,WATADAJ.Detectingpedestriansandvehicles

图5摇Sobel算子轮廓提取表1摇4种车辆识别方法结果对比

%

车辆识别方法

识别率误识别率

PCA+SVM

[18]

Haar+Adaboost[19]

944HOG+SVM[4]

96.HSV+Sobel+CNN

95.89614.96..5284

4.753.34.5914

4摇结束语

提出了一种车辆轨迹识别系统,在现有的技术基础上进行改进,通过HSV颜色空间和Sobel算子的方法快速筛选车辆目标的候选区域,并输入到卷积神经网络进行快速识别,达到实时识别的要求,基本能做到对道路中车辆的识别跟踪和轨迹的跟踪。同时对道路中可能出现的干扰进行标记排除,具有很好的适用性。在不同光照条件下,对道路中不同颜色车辆的识别准确性较高,且对于背景色和车辆颜色相近的车辆,采用轮廓识别的方法加以弥补。通过实验数据表明,该方法在保证识别准确率的条件下,使得车辆识别的实时性也得到了很好的保证,可以适用于复杂交通视频监控中。

参考文献:

[1]摇马蓓蓓华南理工大学.基于HOG,2015特征的车辆检测技术研究.

[D].广州:

[2]摇MACHIDAatedpedestrianT,NAITOandvehicleT.GPUdetection&CPU[C]cooperative//2011IEEEacceler鄄

inter鄄nationalconferenceoncomputervisionworkshops.Barcelo鄄na,Spain:IEEE,2011:506-513.

[3]摇乔广莹吉林大学.基于显著性和,2016.

LBP方法的车辆检测[D].长春:

[4]摇李摇星,郭晓松,郭君斌.基于HOG特征和SVM的前向车

intrafficscenebasedonboostedHOGfeaturesandSVMsignal[C]//processing.2015IEEESiena9thinternational,Italy:IEEE,2015:1-4symposium.

onintelligent[7]摇forMINARW-HUDP,JUNGusingSHOGK.TLDandbasedonlinevehicleSVMintrackingEHMI[system

C]//Las2015VegasIEEE,NVinternational:IEEE,2015:289-290conferenceon.

consumerelectronics.[8]摇董天阳结合的交通视频车辆识别方法研究,阮体洪,吴佳敏,等.一种Haar[J]-.like浙江工业大学学和HOG特征

报,2015,43(5):503-507.

[9]摇白类型识别摇天,许晓珑的车流,丁量摇统箐计,等方.法一种新颖的基于轨迹分析和

[J].计算机应用与软件,

[10]赵作升2016,33(12):136-139.

研究[D.]基于.青岛HSV:中国海洋大学颜色空间的视频车辆检测与跟踪算法

,2007.

[11]刘慧英技术与工程,王小波,2010,10(12):2987-2991.基于OpenCV的车辆轮廓检测.

[J].科学

[12]左颢睿检测算法,张启衡[J].光电工程,徐摇勇,2009,36(1):8-12,等.基于GPU的快速.

Sobel边缘

[13]汤春明线异常检测,浩欢飞[J,]韩.计算机应用研究摇旭,等.车辆轨迹的增量式建模与在

,2014,31(7):2008-[14]2012recognitionXIA.

Yizhangand,FENGattributesJingprediction,ZHANGbyBailing.multi-Vehicletasklearninglogo

withCNN[C]//201612thinternationalconferenceonnatu鄄ralcomputation,fuzzysystemsandknowledgediscovery.Changsha,China:IEEE,2016:668-672.

[15]ZHENGhiclecountingJilong,withWANGvirtualYaoweicoil,inZENGtrafficWei.surveillanceCNNbasedvideove鄄

[data.C]/Beijing/2015IEEE,Chinainternational:IEEE,2015:280-281conference.

onmultimediabig[16]HUANGnitionbyKundeep,ZHANGconvolutionalBailing.neuralFinenetwork-grained[Cvehicle]//2016recog鄄

9th

internationalcongressonimageandsignalprocessing,bio鄄medicalengineeringandinformatics.Datong,China:IEEE,[17]王2016:465-470.

辆识别摇娜,[段鹏飞J].计算机应用,武林林.,2016,36(基于卷积神经网络的非法营运车

S2):193-196.

[18]SIDLAognitionOfor,PALETTAhighwayLlane,LYPETSKYYsurvey[C]/Y/Proceedings,etal.Vehicleofrec鄄

7thinternationalIEEEconferenceonintelligenttransportationsystems.Washington,WA,USA:IEEE,2004:531-536.

[19]CHANGtion[J].IEEEWC,TransactionsCHOCW.OnlineonSystemsboosting,Manfor,andvehicleCybernet鄄detec鄄

ics,PartB(Cybernetics),2010,40(3):892-902.