融合SGM与Z—Buffer的真正射影像遮挡检测算法

融合SGM与Z—Buffer的真正射影像遮挡检测算法


2024年3月27日发(作者:联想y430拆机)

第37卷第2期 桂林电子科技大学学报 

Journal of Guilin University of Electronic Technology 

Vo1.37,NO.2 

ADr.2Ol7 

2O1 7年4月 

融合SGM与Z—Buffer 的真正射影像遮挡检测算法 

化雪诚 ,吴 军 ,彭智勇 

(1.桂林电子科技大学电子工程与自动化学院,广西桂林 541004; 

2.桂林电子科技大学广西自动检测技术与仪器重点实验室,广西桂林 541004 

3.桂林电子科技大学广西信息科学实验中心,广西桂林 541004) 

摘 要:针对真正射影像制作过程中因相机倾斜和高大建筑物产生的遮挡问题,提出了一种融合SGM与Z—Buffer的真正 

射影像遮挡检测算法。该算法利用SGM密集匹配检测到的遮挡信息作为遮挡判断的条件,井与传统Z Buffer算法的遮挡 

判断准则相结合,作为真正射影像制作过程中遮挡检测的判断准则,通过判断准则的接连判断,实现遮挡区域的准确检测。 

实验对航空立体影像使用该算法并与传统方法进行对比实验,结果表明,该算法在遮挡区域检测的准确性更高,且在一定 

程度上解决了伪可见问题。 

关键词:真正射影像;遮挡检测;密集匹配;Z Buffer 

中图分类号:TP391.9 文献标志码:A 文章编号:1673—808X(2017)02 0134—06 

A true orthophoto occlusion detection algorithm based on SGM and Z—Buffer 

HUA Xuecheng ,WU Jun ,PENG Zhiyong ’ ’。 

(1.School of Electronic Engineering and Automation,Guilin University of Electronic Technology,Guilin 541004,China; 

2.Guangxi Key Lahoratory of Automatic Detecting Technology and Instruments, 

Guilin University of Electronic Technology,Guilin 541004,China; 

3.Guangxi Experiment Center of Information Science,Guilin University of Electronic Technology,Guilin 541004,China) 

Abstract:A true orthophoto detection algorithm based on SGM and Z—Buffer is proposed to Solve occlusion problems caused 

by tilt photography on high buildings in the process of true orthophoto generation.This algorithm uses occlusion information 

accessed by the SGM dense matching method as an occlusion criterion and combines with the traditional Z—buffer occlusion 

criteria tO accurately detect the occlusion area.The experiment makes a comparison for aerial stereo image between this pro 

posed algorithm and the traditional algorithm.The result shows that the proposed algorithm has higher accuracy on occlusion 

area detection and solves the pseudo visible problem. 

Key words:true orthophoto;occlusion detection;dense matching;Z—Buffer 

正射影像是一种地面正射投影影像,消除了因相 

片倾斜和地形起伏产生的建筑物“鬼影”问题[ 。正 

处处满足正射投影,尤其是对于城市地区的大比例尺 

航空影像,由于相机的倾斜和高大建筑物的影响,会 

在正射影像制作过程中产生遮挡现象,而传统的数字 

微分纠正技术无法解决此问题,导致最终的影像存在 

大量“鬼影”[4]。真正射影像制作是指同时消除地形和 

地面三维目标投影变形的正射影像处理流程l_5剞。该 

射影像的几何精度和视觉特征可与地图相媲美,且具 

有统一的比例尺,所以GIS将其作为常用的工作底 

图,用户可以利用它直接进行长度量测、距离量测 

等[=2 。但是,这种传统的正射影像严格意义上并非 

收稿日期 

2O1 6 1]一】8 

基金项目 

广西自然科学基金(2Ol 4GXNSFAAl18302);广西自动检测技术与仪器重点实验室基金(YQ1 5108);广西高校科学技术研究项目 

(KY201 5YBll1) 

通信作者 

吴军(1973一),男,湖北武汉人,教授,博士,研究方向为数字摄影{贝II量、计算机视觉、遥感影像处理理论及应用。E mail:wuiun93161@163.coin 

引文格式 

化雪诚。吴军,彭智勇.融合SGM与z—Buffer的真正射影像遮挡检测算法[J].桂林电子科技大学学报,2O17,37(2):134 1 39. 

第2期 化雪诚等:融合SGM与z Buffer的真正射影像遮挡检测算法 135 

流程解决了传统正射影像存在的“鬼影”问题。真正射 

影像制作最核心的部分为遮挡检测,遮挡检测结果的 

好坏会对真正射影像制作的视觉效果产生直接影响。 

Amhar等 融合DTM和数字建筑物模型DBM 

生成真正射影像,该算法先将建筑物和地面分离,再 

分别对二者进行纠正,最后将其融合为最终结果。谢 

文寒等 在数字建筑物模型DBM的基础上,采用改 

进的z—Buffer算法进行遮挡检测。为了提高遮挡检 

测效率,在检测过程巾引入了MBR的概念,但未从 

根本上消除传统z—Buffer算法存在的伪遮挡和伪可 

见问题。Habib等 提出了一种基于角度的遮挡检 

测算法,该算法认定,从地底点出发,沿着其中一条摄 

影光线,投影差造成的变形程度与摄影中心到DSM 

点的距离成正比,通过地底点、摄影中心和DSM点 

依次连接所形成的角度变化,判断当前DSM点的可 

见性。王潇等 叫在数字建筑物模型DBM的基础上, 

提出了一种迭代检测算法,该算法假设建筑物的墙面 

和屋顶会形成许多多边形,沿投影方向将这些多边形 

迭代投影至数字地面模型DTM上,最终的遮挡区域 

即为投影所形成的多边形区域减去建筑的屋顶多边 

形区域。SGM密集匹配在视差优化阶段对遮挡区域 

进行检测,由于在匹配阶段遮挡的定义是针对单遮挡 

的情况,未考虑类似真正射影像制作过程中的多遮挡 

情形,检测到的遮挡区域不完整。 

Z—Buffer遮挡检测算法是目前主流的遮挡检测 

算法,其融合了计算机视觉与图形学的相关技术 。。 

Z—Buffer遮挡检测算法认定[9]:在一条摄影光线上, 

会形成几个不同的目标点,距离摄影中心远的目标点 

会被距离摄影中心近的目标点遮挡。在计算过程中, 

由于未考虑投影变形造成的影响和DSM分辨率与 

影像分辨率的差异,最终结果会存在伪可见和伪遮挡 

等噪声问题[g]。鉴于此,提出融合SGM与Z Buffer 

的真正射影像遮挡检测方法。将SGM密集匹配获 

得的遮挡信息作为遮挡约束引入到传统Z—Buffer遮 

挡检测算法中,以解决传统Z—Buffer算法对遮挡区 

域的漏检测问题。 

1 算法原理 

融合S( M与Z—Buffer的真正射影像遮挡检测 

流程如图1所示。利用SGM密集匹配算法生成立 

体像对的初始遮挡信息,将其作为遮挡判断的一个准 

则,并与传统Z—Buffer算法的遮挡判断准则相结合, 

作为真正射影像制作过程巾遮挡检测的判断准则,再 

进行间接微分纠正,在纠正过程中引入遮挡判断,根 

据判断准则对可见性矩阵进行标记,最后遍历可见性 

矩阵进行像素填充,输出影像。 

图1 融合SGM与Z Buffer的真正射影像遮挡检测流程 

Fig.1 Flow chart of true orthophoto occlusion detection 

based on SGM and Z—Buffer 

1.1 SGM密集匹配得到初始遮挡信息 

SGM密集匹配算法 对传统的动态规划算法 

进行了改进,该算法对光照变化不敏感,通过计算影 

像之间的互信息作为影像匹配的相似测度值,并且为 

了提高整体匹配的可靠性,在算法中引入了平滑约 

束。SGM算法可分为如下3个阶段[1 。]: 

1)像素匹配代价计算。基于互信息的像素匹配 

代价计算公式为: 

C( ,d)一一Ⅲ 』l_(J ,J )。 (1) 

其巾:,,?『 为基于信息熵的影像互信息;J 为待匹 

配影像像素 的灰度值; 为匹配影像中与 所对 

应的像素q=== (声, )的灰度值,P( ,(=f)表示2个同 

名像点在核线影像上的坐标关系; 为水平视差值。 

假设待 配影像已经沿着核线的方向进行扫描,则 

P( ,d)一(户 一d, )。 (2) 

通过影像的信息熵h 、h 与联合信息熵矗『1.L确定 

影像的互信息Ⅲ ,即 

7Yl』

..

』 

(i,是)一h J ( )4-h (是)——h』

.,

』 ,

(i,是)。(3) 

h,、h , 经过泰勒级数展开可分别表示为: 

l36 桂林电子科技大学学报 

h,(i)一 1g((P J(i)o g(/)) g(i));(4) 

, 

^f1.“(i,是)一l lg((P

』1. 。

(i,k)③ 

g(i,志))O g(i,k))。 (5) 

其中:o为高斯卷积; 为影像总像素数。通过影像 

灰度直方图可求出P 待匹配影像的灰度概率分布和 

P 联合概率分布。 

2)视差计箅。SGM算法在像素匹配代价的基础 

上,将能量函数定义为: 

E(D)一∑((、 ( ,d )+∑P T[1 一 l一1]+ 

p q∈N p 

∑P:TE  l一 l>1])。 (6) 

u∈N/, 

其巾:P为任意一个像素;C 为像素P对应的匹配代 

价;N 为像素P的邻域;P 、P。为像素 邻域内的 

惩罚系数,对应像素间的视差变化,且P >P >0, 

P 对较小的视差变化进行惩罚,P 对较大的视差变 

化进行惩罚;D为待 配影像的密集视差图;T为布 

尔函数,用来选取惩罚系数。SGM算法采用多路径 

动态规划优化计算的方式来解决E(D)全局最小化 

这一NP问题: 

S(声, )一 L ( , ), (7) 

, (p, )一(TM(P, )+ 

min(L,( ,.,d),L (P—r,d一1)+Pl, 

J ( r, +1)+Pl,IninL ( —r,i)+ 

P2)一min L (P—r,k))。 (8) 

其中:s(P,d)为累加路径代价,当路径代价取得最 

小值时。所对应的视差d即为像素P的最优视差; 

L (p, )为像素P沿路径r的匹配代价;L (p—r, 

)为当前路径r上像素P的前一点的匹配代价。 

3)视差优化。主要包括左右视差一致性检验、巾 

值滤波和像素插值、亚像素精度的计算等。左、右视 

差图的一致性检验和错误视差区域的剔除只是把遮 

挡点和部分误匹配点从视差图中区分开来,将其置为 

无效值。并未进行后续的处理,因此还需对这些无效 

视差像素进行辨别。视差图中存在的无效视差可分 

为遮挡和误匹配2类,遮挡与遮挡物本身的视差有 

关,而误匹配与邻域内的视差相关。遮挡、误匹配辨 

别示意如图2所示。对于视差图中的无效视差像素 

P,查看其8个邻域方向上的有效视差,若有效视差 

的差值等于或小于一个像素,则此无效像素为误匹配 

的情况,否则此无效像素为遮挡情况。 

图2遮挡、误匹配辨别示恿图 

Fig.2 Diagram of occlusion and mismatching recognition 

SGM密集匹配算法通过逐个像素的匹配为待匹 

配影像生成初始视差,并在视差优化阶段对无效视差 

区域进行判别,为后续的遮挡检测提供初始遮挡信息。 

1.2 间接微分纠正 

间接微分纠正是指从纠正后影像的像点坐标出 

发反向求得其原始影像的像点坐标。间接微分纠正 

示意图如图3所示。 

, \ /

曩 芝蜘 e催 【 

, r 、 灰度插值\ 

I 

/ 

黼 / 

/ 

、 

 

---

--.

E 

\ 

L 鳃 礤 ) 阁 

y 

\ 

纠正图一 像 X 

图3 间接微分纠正示意图 

Fig.3 Diagram of indirect differential rectification 

1)计算地面点坐标。设正射影像上任一像素点 

P的坐标为P(X ,Y ),正射影像左下角顶点坐标为 

(x Y。),正射影像像素的间隔为(AX,AY),正射影 

像比例尺为M,则P点对应的地面坐标为: 

X—X +M×△X×X , 

Y—Y +M×△y×Y 。 (9) 

2)从相应的DSM数据中内插得到P点对应的 

高程值Z,进而得到P点对应的地面坐标(X,Y,Z)。 

3)根据共线方程,反解求出地面点P(X,Y,Z) 

对应的像点坐标P( ,y), 

& (X—X )+b (y—Y )+f (Z—Z ) 

一丑 一_, -二二 二F_ 二 ’ 

“ (X一义 )+6 (Y—Y )q-c,(Z—Z ) 

Y一 。一_, 二 了 二 。 

(10) 

第! 

j L・f1._r、、・ 为 

f尕、 一 、、 、/ 像的 

I叫l 拨 。【II】 』 (10) 求J10像 j、 卜f,J 1 . 址 

遮 

『』、J,J f 

、 

隶: 、、 、、 、为搬 的物 ‘ ,' nJJ l^怀; 、 

憾数.采J+】圾线 内捅的_,J‘浊逊行像豢捕 . 

挡影像的输f¨ 

为地【n n0物,J‘。: J lf,J ; 、h 、 ,( =-二1.2,:s) 

f}{ I 述步蝶【!I JIf『完成从纠I 像到 始彬 

为【]个力一 余弦,… 像的:{个外力 f 『fJ汁镎所 

2 实验结果与分析 

像的 l^标转换 

1.3 遮挡检测和影像输出 

1.3.1 遮挡检测1 

像 水、r骸线影像一I^标父系足・ 埘心 

的. 水、t 线 像址通过 始倾斜 像 接啊排借 

0. LI』』】々终I ,1 ☆青f}豇糸:}; f象J:f,J i ¨:遮 当J×:城. 

许将 为i ̄J.1始遮 f 息.…J 遮 {=:;=洲。遮 1检删 

步骤 卜: 

1)定义 ( M遮 {=fi 、I)SM I叮 、 (;M 

遮 ;刈‘心J 始彬像.维数 原始影像村 d..越i 

过 (;M 策fJL 僻刘 像的遮 ix:域轮 

将轮味f~订f轮味f 的^ “ 的 M遮 

IIl f,J fal 、(1 【,f ).轮均;外的 - 、 i 为Ir LI (・,J- 

) I)SM fIJ’ ij j【) ~I纠f z、』f、 .维数 I』jC树f 

I,il.Jl J J f,J I) _ ̄1十}}』 q址 llJ’ r1 I)SM I・J. 

f :f ‘f 部f,J; 为I1 

)fl “t 』 (1【】)求fI;n0 f象 t 、 ^l 】;/J(. .、,). lJ HI 、j 

J、 的 ( M遮 iIj J 的状怠 : tls 、.叭I将l j 

J I)SM},. 为fal s ; :乃tI-LIC'.010 1 进行处川 . .

1.:{.2 遮挡检测: 

Z—I{L1mr遮捎判断准…: 条摄 线I .会 

Jf=三J戊几个1 ¨的¨ - 瑚 离摄 远的『1 点会 

做 离搬 tl 心近的¨},J 遮 ..遮 捡测步骤 

&L1卜: 

1) 遮 愉测J rf1,I 成的I)SM II 的 

状 f,j: 

!)定艾-个 ~l{ ・ 、1’Ij 『I乍 —Buffer Lj 

始影像卡¨埘f .维数 j j 川 .川 求地m 点剑十j圭 

影lf】心的 离, 像点埘J、 的I)SM 怀。 

:{)符I)SM f,f 的状态为f;tls(,.1J!lJ逊i 卜, 

点的削断; : 1 Ftl( . 进仃卜-步骤 、 

1)符…脱新的地 ^ 投 刊川・个像素时.比较 

的f j f , fl 人/卜.j孑较人的J ×寸J、 的 

I)SM lf,J 为 l .1 Id¨、j‘ f暂较,J、『I,J, 和1 J、 』,l0 

I)SM f}'J‘q l^f,J j lJ z l{uff(、r J : I)SM II J’ 

、 

1. :{ 影像输出 

』{ 终i 刮的I)SM ,j‘ i .依 ,人趟rJj.×.『 

IlJ 的} J叫进f f牧分’ L}J J f象索 c f. 、J 4 IIJ’ n0{弁 

2.1 实验数据 

为_r测试改进算法的仃效 .选收!组影像进干亍 

实验 行以Micros()ft Vista【l Studio 2o1()作为软件圩 

发I . 惠许I 作站(卜顿:{.6( H z.『J、】仃l6( )、 

Wilq.dows 7操作系统卜 陔算法 验彬像如 

l所 .航 、 像埘 i TH k \ir公川的MII)A 

搬 系统扶取.像对的像『 人小为3 1 88像素 s8l l 

像素. 问分辨卒约为(1.1….均 怍畸 饺If 处 

图i 实验影像 

I i .I l' ̄xpe rinit-ntal im lgt 

2.2实验结果分析 

为r验 小算法的遮4- i伶测效 .将小 :法借到 

的遮 愉洲结粜 ( M IJL眦迹 伶删 、Z 

l{ fife,’遮 检测结 比较 、 体影像对得到的 

像如 5昕示.s(;M惭l}三 遮 伶测结粜 『冬J 

6 J听,J=:.,/一Buffc,r诈法遮捎愉删结 1 7 爪.小 

竹法遮 俭洲纳 『』u 8所永 从I冬I j ’….…J 

机倾斜币I1I 缱筑的 .I lq,f 像r}一 …肌所蚪 

的“魁形”脱象 。从【冬1 6…行….… ( M密 p 

过 lI1,对遮 的定义 针埘 ・l 像lf1, JI 

’)l卜1小J祭j 对320.32 

圈 正射影像 遮挡检测结果 

图 本算法遮挡检测结果 

!19J 化雪诚 :融合S( M /lk:dfer的 Il 际迹 愉洲=}=j= 、 

根据J 述结沦分析.并通过小斡:法与 (;M、 

1 f ’算法的遮 f=:;=洲结果比较. ¨;以下结论: 

1)相比SGM:JI苷 配遮 f=:;=洲结果.本算法刈 

遮 』X.域的愉测效 fi月显优j:S(;M锋法.检测剑的 

遮 I)(域更加完憾.斛决了SGM钟:法存存的 检测 

问题 

)相比Z—I{L】f ‘遮挡俭测 ,本 法 定 

i:解决r传统r/一l ̄uffcr算法的 愉测 题。 

为验证小 法愉洲结果的仃效 干n昕得 沦的 

确性,通过原始影像、正射影像、S( M密集 遮 

挡}=:;=删、 /一Buffer遮 俭测 夺 法愉测进行 验《1f

比.结果如【冬1 9所爪。从罔9可行fI;.…r卡H饥倾斜 

尚 建筑物的 响.导致止射影像俘在“魁影”脱 

象.如图9(h)线 所 I 域:S( M密集 遮 愉 

删…J=其遮挡的定_义问题.导致埘遮 域的检测1 

祭.漏愉测的 题较严 .如 )( 、)线 所 I IK 

域;,/一Buffer遮 i伶洲算法对I)SM格网的分辨率 

常敏感.导致遮 枪测存 漏榆测fI1伪遮挡等噪 

『2【J图9(d)线{=『} 所同l× 域;本镎法通过融合l 述 

种 法.实现刈遮 域的榆删. -定程度f 解决 

j’S( M密集 遮 检测 ,ffer遮挡拎测『f1 

仃 的漏检测川题.遮挡俭洲的精确 仃昕提高.『』l j

9(e)所,J: 

盛 

b) 剥影像 (c)SGM密集旺配遮十、 

图 ) 实验结果对比 

I ig.【] C()I11 ison of e'xpcrilllt,I1ta]resui ̄s 

”对 I 射影像捌作过 … i饥倾斜#-iI『 ’ 

编辑:张所滨 

 


发布者:admin,转转请注明出处:http://www.yc00.com/num/1711523322a1919640.html

相关推荐

发表回复

评论列表(0条)

  • 暂无评论

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信