一种基于最小二乘估计的深度图像曲面拟合方法

第２８卷第２期　２００２年３月　自动化学报　Ｖ０１＿２８。Ｎｏ．２　Ｍａｒ．，２００２　ＡＣＴＡ　Ａ　ＴｏＭＡＴＩＣＡ　ＳＩＮＩＣＡ　一种基于最小二乘估计的　深度图像曲面拟合方法　北京１０００８４）　）　李松涛　张长水　荣　钢　边肇祺　Ｄｏｎｇｍｉｎｇ　Ｚｈａｏ。　（清华大学自动化系智能技术与采境国家重点实验室（Ｅｔｅｃｔｒ　Ｌｃａｌ　ａｎｄ　Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｕｎｉｖｅｍｉｔｙ　ｏｆ　Ｍｉｃｈｉｇａｎ，Ｕ．Ｓ．Ａ关键词深度图像，曲面拟合，最小二乘估计　ＴＰ３９１．４１　中圉分类号３一Ｄ　ＲＡＮＧＥ　ＩＭＡＧＥ　ＳＵＲＦＡＣＥ　ＤＥＳＣＲＩＰＴＩｏＮ　ＶＩＡ　ＬＥＡＳＴ　ＳＱＵＡＲＥＳ　ＳＵＲＦＡＣＥ　ＦＩＴＴＩＮＧ　ＬＩ　Ｓｏｎｇ—Ｔａｏ　ＺＨＡＮＧ　Ｃｈａｎｇ　Ｓｈｕｉ　ＲＯＮＧ　Ｇａｎｇ　ＢＩＡＮ　Ｚｈａｏ　Ｑｉ　Ｄｏｎｇｍｉｎｇ　Ｚｈａｏ　（Ｓｔａｔｅ　Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ＩｎｔｅＨｉｇｅｎｔ　Ｔｅｃｈｎｏｌｏｇｙ　ａｎｄ　¨　…　Ｄｅｐａｒｔ￣ｎｔ　ｏｆｍ　。Ⅲ　。（Ｅｌｅｃｔｒ￣２－Ｍ　ａｎｄ　ｃ哪　ｔ　Ｔｓｉｎｇｈｕａ　Ｕｎｉ￣ｓｉｔｙ，Ｂｅｉｊｉｎｇ　１０００８４）　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｕｎｉｖ￣ｓｌｔｙ　ｏｆ．￣ｌｌｃｈｉｇａｎ．Ｕ．Ｓ．Ａ．）　Ｋｅｙ　ｗｏｒｄｓ　Ｒａｎｇｅ　ｉｍａｇｅ，ｓｕｒｆａｃｅ　ｆｉｔｔｉｎｇ，ｌｅａｓｔ　ｓｑｕａｒｅｓ　１　引言　深度图像数据直接反映了景物表面的三维几何信息，因而得到了计算机视觉研究人员　的关注．在深度图像的三维表面分析中，包含有丰富几何形状信息的表面局部特征，如法向　矢量，高斯曲率等，对于分析和描述三维表面特性非常重要．用模板法可以提取这些特征，但　其抗噪声能力差　］．曲面拟合是另一条思路．通过拟合三维表面再计算表面几何特征．文献　［２，３］研究了两种方法拟合三维表面，抗噪声能力也不好．　一般来说，深度图像数据根据等角测距原理获得，因而不是等网格间距深度数据．美国　）　．　Ｐｅｒｃｅｐｔｒｏｎ公司提供了一种深度数据：非等网格深度数据．对于原深度图像中的每一个像素　（　，Ｊ，ｆ（ｉ，　）），给出一个以图像中心为原点，以光轴为ｚ轴的空间直角坐标（　本文利用这种数据给出一种基于撮小二乘估计的曲面拟合方法．　２基于最小二乘估计的曲面方程拟合及特征提取　假设三维表面的局部可以用二次曲面方程　收稿日期１９９９　０８　２６　收修改稿日期２０００　０８　２８　维普资讯 http://www.cqvip.com

２期　李橙涛等：一种基于最小＿＿乘估计的深度图像曲面拟台方法　３ｌ１　ｆ（ｘ，　）一ｎ。ｚ　＋Ⅱ１　＋Ⅱｚ　＋ｎ　３　＋＆４　－＿ｄ５　（１）　很好地近似．我们首先用深度图像数据中的点（ｚ　＇ｚ】　）及其邻域的Ｎ×Ｎ个像素通过最　Ｉｈ－：乘方法拟合该　附近的三维表面　．在得到的点（　，Ｊ，ｆ（ｉ．　））处的二次曲面方程的基础　上，计算其一阶．二阶微分算子　，　．＾，厂儿，厶．然后计算局部表面的法向矢量，高斯曲　率Ｋ及平均曲率日　１　＂一—＝＝＝ｌ＿＝＝（一　，一ｌ，　，１）　（２）　√　一　＋１　Ｋ一杀　奋　（３）　Ｈ：　立　导辫　（４）　在分析三维表面时，高斯曲率Ｋ及　平均曲率Ｈ是两个重要的几何特征．通　表１高斯曲率及平均曲率与曲面类型的关系　过二者的组合，可以得到局部表面的几　何特征．表１给出了两个曲率特征与不　毒　同的曲面类型的关系。　．　３曲面拟合精度分析　当三维表面过于复杂，二次曲面方程只能在很小的局部对其近似．在离散图像中，该问　题表现为拟合点的邻域Ⅳ数值较大时，对深度图像的某些区域无法较为准确地逼近．特别　是对图像的深度阶跃处，二次曲面方程无法很好地对其近似．　图１　Ｃａ）和图１（ｂ）为圆柱面的光学图像和深度图像，图像尺寸为３２２×２０２像素，我们对　图中作标记处进行局部曲面拟合实验．图２为圆柱中间点（１５６，８４）在Ⅳ取不同值时的拟　合结果．受噪声的影响，Ⅳ从６开始，计算的特征才趋于稳定．由于二次曲面方程能很好地　逼近圆柱面，因此，实验结果与我们的分析一致．图１（ｃ）和图１（ｄ）为羊头模具的光学图像和　深度图像，图像尺寸为２２４×２５２像素，图３为靠近眼角点（１５１，１０４）处的局部曲面拟合结　果．计算的特征从５开始趋于稳定．但随着邻域半径的进一步增加，从半径为９开始，平均曲　率特征Ｈ由负变正，即曲面特性由凸性转变为凹性，并且拟合误差也进一步增大、从深度图　（ａ）圆柱的光学圉像　（ｂ）圆柱的深度圉像　圈■　（ｃ）羊头模具的光学图像　（ｄ）羊头模具的深度图像　图１光学图像与其对应的深度图像数据　维普资讯 http://www.cqvip.com

自　动　化　学　报　２８卷　像中可知，由于局部表面的几何特性随邻域范围的加大而发生变化，由此导致了上述拟合　结果．　图２图１（ａ）中点（１５６，８４）的局部曲面拟台结果　图３图１（ｃ）中　（１　５１．１０４）的局部曲面拟合结果　可以看出，拟合数据集的尺寸Ⅳ直接影响了局部曲面拟合的结果．因此我们提出了一种　Ⅳ的选择方法．这是一个Ⅳ逐渐增加的迭代拟合过程．首先选择一个起始拟合尺寸，考虑到真　实图像中测量噪声的影响，Ⅳ起始值为５．如果在连续的三次迭代中，拟合误差均较小并且拟　合特征没有明显变动，则终止局部表面的拟台．并以当前得到的拟合结果作为局部表面的几何　特征．否则，如果拟合误差很大，则视该局部表面为跳变边缘区，并终止当前局部表面的拟合处　理｝若拟合误差较小但拟合特征始终存在较大波动，则认为该局部表面形状变化复杂．　４实验结果与分析　图４是一个复杂表面的曲面分析实例，其中，图４（ａ）是一个羊头雕塑的光学图像，图４　（ｂ）是其深度图像，图４（ｃ）是图４（ｂ）的加光三维显示，图４（ｄ）和图４（ｅ）／４别是由曲面拟合　一■圈　（ａ）羊头的光学图像　（ｂ）图（ａ）对应的深度图像　（ｃ）加光三维显示图　（ｄ）图（ｂ）的　圈　（ｅ）图（ｂ）的Ｈ图　图４羊头表面的曲面拟合实例　维普资讯 http://www.cqvip.com

２期　李橙涛等　一种基于最ｄ＇－－乘估计的深度图像曲面拟合方法　得到的Ｋ，Ｈ图．在Ｋ图和Ｈ图中，利用由暗到亮的不同灰度分别代表曲率符号小于０、等　于０以及大于０．图中的高亮度部分，是拟合误差较大的跳变区域．根据Ｋ，Ｈ的符号以及表　１中的对应关系，可以获取局部区域的三维几何特性．图４（ａ）中小矩形的中心区域是局部曲　面分析的一个例子，从光学图像中很难确定该区域的表面凸凹性，而根据该中心区域的Ｋ，　Ｈ均大于Ｏ，可知该区域为凹底曲面类型　５总结　本文给出的方法是深度图像处理中的一个关键步骤．利用本文提取的局部几何特征，可　以做进一步的处理．我们还对本文的方法做了大量实验　．实验结果表明，该方法是好的．　致谢感谢美国Ｐｅｒｃｅｐｔｒｏｎ公司提供了实验所用的深度图像数据　参考文献　１　Ｂｅｓｉ　ｐ　Ｊ，Ｊａ　ＬｎＲＣ．Ｔｈｒｅｅ　ｄｉｍｅｏｓｉｏｎａ］ｏｂｊｅｃｔ　ｒｅｃｏＥｎｈｉｏｎ－Ｃｏｍｐｕｔｉｎｇ　“　，１９８５　１７（１）｝７５～１４５　２　Ｊａ］ｎ　Ｒ　Ｃ　Ｊａｉｎ　Ａ　Ｋ．Ａｎａｌｙｓｉｓ　ａｎｄ　Ｉｎｔｅｒｐｒｅｔａｔｉｏｎ　ｏｆ　Ｒａｎｇｅ　Ｉｍａｇｅｓ．Ｎｅｗ　Ｙ。ｒｋ：Ｓｐｒｉｎｇ　Ｖｅｒｌａｇ・１９９２　３　Ｓｕｋ　Ｍ，ＢＭｎｄⅢｋａ　Ｓ．Ｔｈｒｅｅ　Ｄｉｍｅｏｓｉｏｎａｌ　Ｏｂｊｅｃｔ　Ｒｅｃｏｇｎｉｔｉｏｎ　ｆｒｏｍ　Ｒａｎｇｅ　ｌｍａｇｅｓ．Ｎｅｗ　ＹｏｒｋＩＳｐｒｉｎｇ　Ｖｅｒｌａｇ，１９９２　４　ＺＭｏ　Ｄ　Ｌｉ　Ｓ，Ｄｅｎｇ　Ｊ　３　Ｄ　ｐｒＯＣｅｓｓｉｎｇ　ｏｆ￣ａｎｇｅ　ｉｍａｇｅ　ｄａｔａ　ｆｏｒ　ｘｄｓｉｏｎ　ａｐｐｉｉｃａｔ［ｏａ　ｉｎ　ｍａｎｕｆａｃｔｕｒｉｎｇ．Ｉｎ　ｚ　Ｐｒｏｃ・ＳＰ１Ｅ’　Ｍａｃｈｉｎｅ　Ｖｉｓｉｏｎ　Ｓｙｓｔ㈣ｆｏｒ　Ｉｎｓｐｅｃｔｉｏｎ　ａｎｄ　Ｍｅｔｒｏ］ｏｇｙ　ＶＩＩ　Ｂｏｓｔｏｎ，１　９９８－２７～３２　５　Ａｍｎ　Ｆ，Ａｇｇａｒｗａｌ　Ｊ　Ｋ　Ｍｏｄｅｌ—ｂａｓｅｄ　ｏｂｊｅｃｔ￣ｅｃｏｇｎｉｔｉｏｎ　ｉａ　ｄｅｎｓｅ—ｒａｎｇｅ　ｉｍａｇｅ　ａ　ｒｅｖｉｅｗ．ＡＣＭ　Ｃ￣ｐｕｔｌｎｇ　Ｓｕｒｗｅｙ，　１９９２　２５（１）：５～４３　６　李栓涛群度图像处理方法的研究［学位论文］．北京　清华大学，１９９８　李松涛１９９８年在清华大学获博士学位，现在美国Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｍｉｃｈｉｇａｎ从事图像处理、计算机视　觉研究工作．　张长水１９８６年毕业于北京大学．１　９９２年获清华大学博士学位。现为清华大学教授．研究领域为图像　处理、模式识别、人工智能等．