您的当前位置:首页正文

采用移动光靶标的分区域相机标定

2022-02-11 来源:钮旅网
第22卷第2期 光学精密工程 Vo1.22 No.2 2014年2月 Optics and Precision Engineering Feb.2O14 文章编号 1004—924X(2O14)02—0259—07 采用移动光靶标的分区域相机标定 刘书桂,姜珍珠 ,董英华,张宏玲 (天津大学精密测试技术及仪器国家重点实验室,天津300072) 摘要:针对工业视觉测量中的摄像机标定精度及效率低的问题,提出一种高精度CCD相机分区域标定方法。该方法首先 利用三坐标测量机(CMM)带动圆形发光二极管(LED)光靶标按梯形台状做精确空间移动,结合最小二乘椭圆拟合算法求 解光靶标的像面位置,并与CMM三维坐标形成精确的空间标定点集。同时,将像平面按圆环形对称结构分割成N个区 域,并结合改进的Tsai算法分别对每个子区域进行相机参数的标定。标定实验结果表明:经过分区域标定,相机采集点的 总误差比单区域标定法降低了17 (N一8),单点平均误差降低了2O 左右。算法可实现自动精确标定点采集,操作过程 简单,基本满足中等精度的工业测量要求。所提出的相机标定法可应用于工业视觉测量,特别是大工件测量领域。 关键词:视觉测量;CCD相机;相机标定;分区域思想;改进的Tsai算法;光靶标 中图分类号:TB853.1;TN386.5 文献标识码:A doi:10.3788/OPE.20142202.0259 Sub’regional camera calibration based on moving light target LIU Shu—gui,JIANG Zhen—zhu ,DONG Ying—hua,ZHANG Hong—ling (Sate Key Laboratory of Precision Measuring Technology&Instruments。 Tia in University,Tia in 300072,China) *C0rres 0 g author,E-mail:zhenzh @tju.edu.cn Abstract:A reliable subregional calibration method for CCD cameras was proposed to improve the accuracy and efficiency of industrial vision measurement.With the proposed method,a round light target was moved with the Coordinate Measuring Machine(CMM)according to a trapezoidal shape.The images of light target were pro— cessed with least square ellipse fitting algorithm to obtain the center positions.By 3D coordinates of CMM,a set of accurate calibration data were obtained.Furthermore,the image plane was separated into several sections ac— cording to the circle symmetrical structure and camera parameters in different regions were calculated with the subregional theory and improved Tsai method.Comparing with the subregional calibration method to single cal— ibration one,the actual calibration experiments show that the total error is decreased by 17 when the iamge is separated 8 regions and the average error of single point is decreased about 20 Y0.Experiments demonstrate that the data collection process is automatic and simple,and the camera calibration accuracy meets the medium preci— sion of industrial measurement.It indicates that the method proposed is suitable for the industrial vision measure- ment,especially for the larger work piece measurement. Key words:vision measurement;CCD camera;camera calibration;sub—regional theory;improved Tsai method:light target 收稿日期:2013—03—27;修订日期:2013—05—31. 基金项目:国家自然科学基金资助项目(No.51005165) 26O 光学精密工程 第22卷 1 引 言 随着图像处理和光电子技术的发展,基于计 算机视觉的大工件测量系统已广泛应用于航空航 天、汽车制造等诸多工业领域l_1。]。视觉测量系统 中图像采集设备(相机)的标定精度直接影响系统 的整体测量精度l_4 ]。相机标定按标定原理可以 分为三类:传统相机标定法、自标定方法和主动视 觉标定法 ]。传统相机标定法 ]一般需要尺寸 精度很高的标定物,且相机成像模型和优化算法 已经非常成熟,因此常用于精度要求较高且标定 好后相机参数不需要调整的工业场合。自标定方 法 。 和主动视觉标定法_】 ¨ 无需标定物,自标 定算法简单灵活,但标定精度低,一般适用于现场 标定;主动视觉标定法利用自动控制系统精确控 制相机做已知运动,但实验设备昂贵,条件要求苛 刻,不易实现。因此在视觉测量系统中常采用基 于标定物的传统相机标定法对相机进行标定。 基于标定物的传统相机标定法依赖于标定物 的精度。三维标定物制作复杂,而二维标定物的 精度不易保证,且采集的标定点不能充满整个像 平面。文献[15-161利用IR—LED作为光靶标实 现了虚拟空间标定点的采集,为使标定点充满相 机视场,采集过程中需移动相机从不同角度拍摄 空间虚拟点集,且相机需要安装红外滤镜,离焦采 集图像,这在一定程度上会影响镜头焦距的准确 性。针对此缺陷,本文采用直径为10 mm的圆形 LED作为光靶标,固定在三坐标测量机(CMM) 测量臂上,CMM按照设定好的梯形台状做精确 的空间运动,形成光靶标的标准位置集合。数据 采集时相机位置不动,且各位置靶标的像点均匀 地充满整个像平面。现有的相机标定算法将像平 面作为整体进行标定,但使用相同的相机参数修 正像平面上不同位置的像点会影响标定的精度。 因此本文提出了一种分区域标定思想,对像平面 按圆环形对称结构分割成多个区域,利用落入每 个子区域的标定点进行相应区域的参数标定,获 得多组相机参数。使用相机时,对不同区域的像 点利用相应区域的相机参数进行校正。同时改进 了Tsai两步法,增加待标定的相机内部参数,按 最小二乘思想建立目标函数,利用非线性方程组 展小二乘解的广 逆(M—P)法对目标函数进行优 化求解。提高了相机的标定精度。 2 改进的Tsai算法 2。l相机成像模型 基于径向一致约束(Radial Alignment Con— straint,RAC)的相机成像模型如图1所示。模型 包含4个坐标系,分别为世界坐标系0 一 。相机坐标系 一 叫 ,像平面毫米坐标 系0J—X y 。像平面像素坐标系Or—xryr。点Q 是世界坐标系中的任意点,Q 和Q 分别是理想 像点和实际像点。 1 图1基于RAC的相机成像模型 Fig.1 Camer ̄imaging model ha ̄,ed on RAC 假设点Q在相机坐标系下的坐标是( , , ),则( , , )和( . ,叫)的对应关系为; ]  1l=ER列・ 由透视投影n 可以得到在像平面毫米坐标 惘;=㈥,圈~ 第2期 刘书桂,等,采用移动光靶标的分区域相机标定 [汁[ [ 其中。 一(3) 取值0。则6对以上的对应标定点即可以 根据矩阵R的正交性和式(9)的参数分解公 获得式(7)中11个未知参数的最]b--乘解。 式可以求解出相机模型的6个外部参数的初 一 d[(是 qq-k q。)+ 1(q+gX5)+2p2XdYd], yd[(是1q+志zq。)+p。(q+2 )+2 1Xdyd], 始值。 口2 口3 q—x5+ ,k ,k 和P ,P 分别是镜头径向和切 向畸变的两级畸变系数。 根据像平面上毫米坐标系和像素坐标系之间 { n6 { n 7 的关系可知,像素坐标(X ,Y )为: [ 一[ /。d /o 廊 , 其中:(c C )是像平面中心,d d 分别是CCD 相机横向和纵向的扫描间隔,d 已知,d 需要 标定。 实际中不可能对像点位置进行完全的修正, 被修正点在X 和y 方向上的修正偏差为- =:=(n r+r2yff-r3zq-( )广一 .r+ + + )(一 ) 1●●●●●●●●J 一( + + z+ )产(r7 +r8 + 2+ )1纠 一 ( + ) (5) 旋转矩阵R可以由口, ,’,3个旋转角表示, 因此得到目标函数: F(a, ,y,t ,t ,t ,f,d ,C,,CY,kl,k2,Pl, 2)一 MIN(∑ +∑厂1),(6) 其中:n是标定点集中点的个数。此方程含有14 个参数,前6个为相机外部参数,后8个为相机内 部参数。 嗽一厂嗽一厂 2.2参数求解两步法 (1)第一步:求解外部参数Ca, ,), t,t ,t ) 的初始值。令: iIf -厂 ,r, lfr  a5- 厂Vr3。6  I:]:一: . ・t  1口5 n26 院一37 口㈤:8 ] I, l r r r。 £ l  ln。 口 。 。 1 I k=n。 +a1。Y+n11z+1,根据式(1)和(2)有: a2 3 n6 盘7 (7) a1O a11 由式(3)和(4)可知: 』1xu一‘xF—c Y 一(Y+ , F—C ) + (8) 其中:(X ,yF, ,Y, )为标定点,C ,d f的 近似值可以根据相机的出厂参数确定,镜头畸变 f f alOtz 口1lt (2)第二步:优化目标函数,求解14个参数的 最优解。 14个参数的最优解可用非线性方程组最小 二乘解M—P法对目标函数求解得到。文献[18] 证明了广义逆法的收敛性,但并未说明收敛速度。 经求解可知,使用本算法收敛精度可达1×10~, 2~3次迭代就可得到X的最优解,运算速度完全 满足实际应用的要求。 3 分区域标定思想 由相机标定方法计算得到一组相机参数,在 使用相机进行测量时,对所有像点按相同参数进 行修正。由于相机和镜头的加工制作过程会产生 误差,即使镜头经过了超精密加工,也不能保证空 间物体经由镜头投影到CCD感光元上的二维图 像的每一处畸变都相同,因此提出一种分区域的 标定思想。 镜头畸变主要体现为桶形畸变和枕形畸变, 对镜片进行粗细研磨加工时,边缘对称固定同心 转动,在以光学中心为圆心的同心圆上其畸变大 致相同。图2所示的圆环分区域法将像平面分成 N个子区域。 先用上述改进的Tsai算法对整个区域进行 标定得到图像中心位置(C ,C ),对每个子区域 采用统一的图像中心,各子区域的划分可根据式 (1O)计算。 d 一 ̄/(X r—C ) +(Yi—C ) , =1,2,…,N. (10) 利用各个子区域的标定点计算相应子区域的 相机参数,图像中心统一采用单区域标定的中心 第2期 刘书桂,等:采用移动光靶标的分区域相机标定 标定点采集时,CMM带动光靶标按直线逐 行移动,每一行上光靶标中心在空间的50个坐标 形成一条直线。如图5(a)所示,光靶标中心空间 坐标的 轴和z轴数据拟合直线,记为空间点拟 合直线。此直线投影到像平面理论上是一条直 表2分区域(N=8)标定的相机内部参数 Tab.2 Results for sub—regional camera calibration method(N一8) 线,但由于镜头畸变,实际像点形成的是一条曲 方法的精度,定义形状误差为: S 一( c 一.TU ×t ) +(yc 一yu ×t ) 4- (zc -f ̄f ) , 一1,2,…, , (11) 其中: 一 旦 { u.T 十 十,7 竿 vu7 半  J 。通过 式(1)计算得到标定点在相机坐标系下的坐标 ( yc , ),其像平面上的对应点(xu”yu )可 以通过式(8)计算得到。因此所有标定点的总形 状误差为: Total—gl"?'Or一>  ̄/S , (12) 其中: 为每组标定点的个数。 利用单区域标定法得到的标定点总形状误差 为162.566 mm。表3为几种不同形式的分区域 标定法计算的总形状误差。由表可看出,几种分 区域算法的总误差明显比单区域标定法小,特别 是N一8的误差比单区域算法降低了17 9/6左右; 并且由前5个数据可看出,随区域个数的增加,误 差有减小的趋势;但当』\,大于6时,误差改善不 明显,这和镜头畸变系数和落人标定区域的标定 点数有关。当畸变系数较大时,可以采取较多的 分区域方式和更多的标定点数,在实际应用中可 以根据实际情况选择不同的区域划分标准。 表3分区域标定方法的总形状误差 Tab.3 Total errors by using sub-regional calibration(mm) N 误差 —— 2 3 4 5 6 8 1.64×10一 145.005 1 ……n…。……一’…’…’…一’ ’…’ ’…’………’ - 。 x/mm (a)空间点拟合直线 (a)Curve—fitting through space points XF/pixel (b)实际像点拟合直线 (b)Curve-fitting through image points (c)单区域修正像点拟合直线 (c)Curve—fitting through corrected image points by single regional method 光学精密工程 第22卷 (d)8区域修正像点拟合直线 (d)Curve—fitting through corrected image points by 8一 regional method 图5 实际空间点、实际像点以及修正像点的拟合直线 Fig.5 Curve-fittings by space,image and corrected points 线,如图5(b)所示,记为实际像点拟合直线。分 别利用单区域和分区域(N一8)的相机参数对像 点进行校正,得到像平面坐标系下的各点并进行 直线拟合,结果如图5(c)和5(d)所示。 按照直线拟合的方程对所有点求修正平均误 差,结果如表4所示。 表4 修正前和修正后像点平均误差比较 Tab.4 Comparison of average error before and after corrections 参考文献: [1] 张国雄.坐标测量技术发展方向[J].红外与激光, 2008,37(S1):1-5. ZHANG G X.Development orientations of coordi hate measuring techniques ̄J].Infrared and Laser Engineering,2008,37(S1):1-5.(in Chinese) [2] ZHU J G,I I Y J,YE S H.Calibration of line structured light vision system based on camera S projective eenter ̄J].Opt.Precision Eng.,2005, 13(5):584—591. [3] ROBERT J H,PAUI ()H P.ZHANG G X,et aZ..Coordinate Measuring Machines and Systems [M].America:CRC Press,2011. [4] 陈刚,车仁生,叶东,等.一种基于立体模板的双目 实际像点相对于其拟合直线的单点平均误差 为1.641 pixel,相当于1.641×0.003 45— 56.615×10~mtTl,单区域算法修正后单点平均 误差为4.36×10 ITlm,分区域算法修正后单点 平均误差相比单区域算法降低了2O 左右,由此 说明分区域算法对像点的修正更准确。 5 结 论 本文针对工业视觉测量系统中的相机标定问 题,提出了一种移动光靶标的分区域标定方法。 首先改进传统Tsai算法,建立了14参数的目标 函数,利用非线性方程组最小二乘解的广义逆迭 代法求解优化参数,收敛速度和精度。然后,利用 分区域标定思想将像平面按对称结构分成N个 区域,分别对各子区域进行相机参数标定。使用 相机时,按相同区域划分模板,采用相应子区域的 相机参数对像点进行修正。标定点采集摒弃了传 统标定物,利用三坐标测量机带动圆形LED光靶 标实现了全自动精确三维标定点采集。CMM移 动形状为梯形台,以保证每个截面的像点能充满 相机视场。标定实验表明,分区域标定法的精度 优于单区域标定法,20 000个标定点的总误差降 低了17%(N一8),单点平均误差降低了2O 左 右;且随分割区域数的增加,精度逐渐提高,应用 时可根据实际情况选择不同的区域划分方式。这 一相机标定法可以应用于工业视觉测量,特别是 大工件测量领域。 一~ ~一第2期 刘书桂,等:采用移动光靶标的分区域相机标定 265 LIU J G.Study on high accurate geometric calibration of precision photoelectronic measuring system with large field of view and distortion correcting[J].Opt. Precision Eng.,1994,2(4):110—120.(in Chinese) [7] QIU M I ,MA S D,I I Y.Overview of camera cal— ibration for computer vision EJ].Acta Autornatica Sinica,2000,26(1):43 55.(in Chinese) E8] ZHANG Z Y.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern A— nalysis and Machine Intelligence,2000,22(11): 1330—1334. E9] 黄风山,刘书桂,彭凯,等.光笔视觉测量系统结构 参数的自标定与仿真[J].光电子・激光,2006,17 (6):705—708. HUANG F SH,I IU SH G,PENG K,PfaZ..Self- calibration and simulation of the structure parame— ters in a light—pen vision measurement system[J]. Journal of Optoelectronics・Laser,2006,17(6): 705—708.(in Chinese) [10] MAYBANK S J.A theory of se1 ca1|bration of a moving camera[J].International Journal of Cornputer Vision,1992,8(2):123一l51. [11] J IN J,I I X F. Efficient camera se1f_calibration method based on the absolute dual quadric[J]. Journal of the Optical Society of America,2013, 30(3):287—292. [12] KWON H,PARK J,KAK A C.A new approach for active stereo camera calibration[c].IEEE In ternational Confefence on Robotics and Automa— tion,2007:3180—3185. [13] 朱熹,李醒飞,徐颖欣.摄像机的一种主动视觉标 作者简介 刘书桂(1954一),男,湖南华容人,教 授,博士生导师,1982年于陕西机械学 院获得学士学位,1988年于东京工业 大学获得博士学位,主要从事智能坐标 测量、自动测量与控制、传感与信息处 理等方面的研究。E mail:sgliu@tju. edt1.cn 定方法EJ].光学学报,2O1O,30(5):1297 1303. ZHU X,I I X F,XU Y X.Camera calibration technique based on active vision EJ].Acta Optica Sinica,2010,30(5):1297—1303.(in Chinese) [14] YE D,XU Q Y,CHE R S.Camera calibration technique for vision measurement system[J]. Opt.Precision Eng.,2006,14(5):883—890. [15] 杨博文,张丽艳,叶南.面向大视场视觉测量的摄 像机标定技术[J].光学学报,2012,32(9): O915001-1—9. YANG B W,ZHANG I Y,YE N.Camera cali— bration technique of wide area vision rheasurement [J].Acta Optica Sinica,2012,32(9):0915001一 l 9.(in Chinese) [16] FAUGERAS 0.Th ree-Dintensional Cornpurer Vi— sion:A Geometric Viewpoint[M].USA:MIT Press,1993. El7] 钟海燕.非线性最小二乘广义逆迭代算法及收敛 性证明_J].广东工学院学报,1990,7(1):14—23. ZHONG H Y.An iteration algorithm of general— ized inverse of matrix for nonlinear least—square problem and its proof of convergence ̄J].Journal of Guangdong Institute of Technology,1 990,7 (1):l4—23.(in Chinese) [18] 刘书桂,李蓬,那永林.基于最小二乘原理的平面 任意位置椭圆的评价[J].计量学报,2002,23 (4):245—247. I IU SH G,I I P,NA Y I .Evaluation of the form error of ellipse based on least—square method EJ]. Acta Metrologica Sinica,2002,23(4):245—247. (in Chinese) 通讯作者 姜珍珠(1989一),女,云南大理人,硕 士,2011年于四川I大学获得学士学位, 主要从事坐标测量与控制、三维图形建 模方面的研究。E—mail:zhenzhuj@ tju.edu.cn 

因篇幅问题不能全部显示,请点此查看更多更全内容