《本科毕业论文-—全景图拼接系统的设计.docx》由会员分享，可在线阅读，更多相关《本科毕业论文-—全景图拼接系统的设计.docx（54页珍藏版）》请在课桌文档上搜索。
1、摘要全景图(PanOramiCImage)是近来出现在Internet上的另一一种新的交互式的虚拟场景表示方式,它基于图绘制IBR(Image-BasedRender)的方式再现了三维场景,可用浏览器实现虚拟场景的漫游,同时也详细介绍了这种全景图浏览器的实现原理。本文在总结已有技术的基础上，提出一个基于全景图的虚拟现实系统模型,并改进算法实现了高效的拼接，全景图是一种能覆盖大范围场景的宽视角图像。除了用特殊的相机获取外，目前多采用图像拼接技术，即将普通相机拍摄的两幅或多幅来自同一场景的有重叠区域的图像拼合成为一幅宽视角的高质量图像。这是当前图像处理的一个热门研究课题，也是基于图像绘制的一部分,
2、适用性很强,应用于虚拟现实的实现、卫星照片的处理和医学图像处理等领域。本文在总结已有技术的基础上，全面总结了在研究全景图拼接关键技术课题中所做的工作。主要包括以下几个方面:针对传统的模板匹配算法中存在的问题，本文提出了自适应模板匹配算法，即在进行匹配之前，首先基于局部边缘密度LED和模糊聚类算法定位出特征物体区域，然后以该区域为模板计算其局部嫡差，在另一幅图像中进行搜索，找到最佳匹配点;在基于特征的图像匹配算法研究中，采用了多尺度的Harris角点提取算法提取特征点，以一种鲁棒的特征点匹配策略进行匹配对的过滤，保证以提纯后准确的特征点数据来做点变换估计，从而确定待拼接图像之间的变换参数，确保准
3、确地定位出重叠区域;在图像融合方面，对原亮度调和处理算法进行了改进，消除了拼接图像中存在的亮度差别，然后采用渐入渐出算法和最佳缝合线算法消除了拼接图像中的拼接接缝和鬼影问题。实验结果显示，上述算法可以实现待拼接图像的准确配准和拼接图像中接缝和鬼影等砌象的消除。最后，用MiCroSoftViSUaIC+6.0开发了一套较完整的全景图自动拼接系统。关键词：全景图；MicrosoftVisualC+6.0；虚拟现实；图像拼接;AbstractPanoramic(PanoramicImage)isarecentlyemergedintheInternet,anothernewinteractivevi
4、rtualenvironmentthatway,itisbasedonmappingIBR(Image-BasedRender)wayreproducethree-dimensionalscene,thebrowsercanbeusedtoimplementvirtualsceneroaming,aswellasdetailsofthispanoramaofRealizingthebrowser.Thispapersummarizestheexistingtechnologyisproposedbasedonapanoramicimagebasedvirtualrealitysystemmod
5、el,andimprovetheefficiencyofthesplicingalgorithm,panoramaisawiderangeofscenariosthatcancoverwideviewingangleimage.Inadditiontousingaspecialcameratoobtain,thecurrentlyusedimagestitchingtechnology,abouttwoordinarycamera,orpiecesofthesamescenefromtheoverlappingregionofimagesputtogetherintoawideviewinga
6、ngle,high-qualityimages.Thisisthecurrentimageprocessingofahotresearchtopic,isalsopartofimage-basedrendering,theapplicabilityofastrong,usedinvirtualreality,satellitephotosoftheprocessingandmedicalimageprocessingandotherfields.Thispapersummarizestheexistingtechnology,basedonacomprehensivesummaryofrese
7、archPanoramaStitchinginthekeytechnologyissuesintheirwork.Includethefollowing:thetraditionaltemplatematchingalgorithmfortheproblem,thispaperproposesanadaptivetemplatematchingalgorithm,thatis,beforeamatch,thefirstLEDbasedonlocaledgedensityandcharacteristicsoffuzzyclusteringalgorithmlocateobjectregiont
8、hentotheregionasatemplatetocalculatethelocalentropydifference,animageinanothersearchtofindthebestmatchpoint;infeature-basedimagematchingalgorithm,theuseofmulti-scaleHarriscornerdetectionalgorithmforfeaturepointextraction,witharobustfeaturepointmatchingstrategytomatchonthefilter,toguaranteetheaccurac
9、yofthefeaturepointsafterpurificationdatadopointtransformationisestimatedtobesplicedtodeterminetransformationparametersbetweentheimagestoensureaccuratepositionofoverlappingregion;inimagefusion,thebrightnessoftheoriginalharmonictreatmentisimprovedtoeliminatethemosaicimagebrightnessdifferencesexist,the
10、ngraduallyoutofusegraduallyintothesuturemethodandthebestmethodtoeliminatethemosaicimagestitchingseamsandghostsshadowproblem.Experimentalresultsshowthatthealgorithmcanachieveaccurateimagestobesplicedregistrationandstitchingintheseamsandtheghostimageastheeliminationofsuchpuzzle.Finally,MicrosoftVisual
11、C+6.0hasdevelopedamorecompletepanoramamosaicsystem.Keywords:panorama;MicrosoftVisualC+6.0;virtualreality;imagemosaic;毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示
12、了谢意。作者签爸日期：指导教师签名：日期：使用授权说明本人完全了解大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明
13、。本人完全意识到本声明的法律后果由本人承担。作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。涉密论文按学校规定处理。作者签名：日期：年月日导师签名:日期：年 月指导教师评阅书指导教师评价：一、撰写（设计）过程1、学生在论文（设计）过程中的治学态度、工作精神优口良中口及格口不及格2、学生掌握专业知识、技能的扎实程度优口良中口及格口不及格3、学
14、生综合运用所学知识和专业技能分析和解决问题的能力优口良中口及格口不及格4、研究方法的科学性；技术线路的可行性；设计方案的合理性优口良中口及格口不及格5、完成毕业论文（设计）期间的出勤情况优口良中口及格口不及格二、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优良中及格不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优良中及格不及格三、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优口良中口及格口不及格2、论文的观念是否有新意？设计是否有创意？ 优口良中口及格口不及格3、论文（设计说明书）所体现的整体水平 优口良中口及格口不及格建议成绩：优口
15、良中口及格口不及格（在所选等级前的口内画“J”）指导教师：（签名）单位：（盖章）年月日评阅教师评阅书评阅教师评价：一、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优口良口中口及格口不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？优口良口中口及格口不及格二、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义口优口良口中口及格口不及格2、论文的观念是否有新意？设计是否有创意？口优口良口中口及格口不及格3、论文（设计说明书）所体现的整体水平优口良口中口及格口不及格建议成绩：优口良口中（在所选等级前的口内画及格不及格评阅教师：（签名）单位：（盖章）年月日
16、教研室（或答辩小组）及教学系意见教研室（或答辩小组）评价:一、答辩过程1、毕业论文（设计）的基本要点和见解的叙述情况口优口良中口及格口不及格2、对答辩问题的反应、理解、表达情况口优口良中口及格口不及格3、学生答辩过程中的精神状态口优口良中口及格口不及格二、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？口优口良中口及格口不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？口优口良中口及格口不及格三、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义口优口良口中口及格不及格2、论文的观念是否有新意？设计是否有创意？口优口良口中口及格不及格3、论文（设计说明书
17、）所体现的整体水平口优口良口中口及格口不及格评定成绩：优良中口及格口不及格（在所选等级前的口内画“J”）教研室主任（或答辩小组组长）：（签名）年月日教学系意见:系主任：（签名）年月日摘要1Abstract2目录4第1章绪论41.1 课题研究的背景和意义41.2 全景图拼接技术的发展与研究现状51.3 研究内容6第二章全景图相关技术概述82.1 图像的获取方式82.2 图像的颜色处理92. 2.1彩色图到灰度图的转化93. 2.2实验结果102. 3柱面投影算法112. 3.1全景图模型分类113. 3.2柱面投影算法124. 3.3插值算法145. 3.4实验结果14第三章基于特征的图像拼接算
18、法研究与实现165.1 角点特征及其检测算法研究165.1.1 角点检测算法介绍163. 2特征匹配203. 2.1特征匹配算法的分类214. 2.2改进的基于相关窗口的角点匹配算法21第四章图像融合234.1 取平均值法235. 2改进的亮度调和处理算法244. 3渐入渐出算法254. 4基于最佳缝合线的图像融合算法264. 4.1最佳缝合线的建立26第五章全景图拼接系统的设计29结论31参考文献错误!未定义书签。第1章绪论1.1 课题研究的背景和意义在日常生活中，使用普通相机来获取宽视野的场景图像时，人们必须通过调节相机焦距才可以摄取完整的场景，但这样所获取的场景照片的分辨率相对较低，这是
19、因为相机的分辨率是一定的，拍摄的场景越大，得到的图像的分辨率就越低。因此人们只能通过缩放相机镜头减小拍摄的视野以获取高分辨率的场景照片。另外，由于距离的限制，某些超大尺寸的物体无法用一张照片拍摄下来，这在航天照片的拍摄中显得尤为突出。利用广角镜头和扫描式相机可部分解决视角不足这一问题，但这些设备价钱昂贵、使用复杂而且广角镜头的边缘难免会产生扭曲变形。为了在不降低图像分辨率的条件下获取大视野范围的场景照片，人们提出了图像拼接技术，将普通图像或视频图像进行无缝拼接，得到超宽视角甚至360度的全景图，这样就可以用普通相机实现场景宏大的景物拍摄。近年来，随着虚拟现实技术的飞速发展，具有广阔应用前景的基
20、于图形的绘制技术（ImageBasedRendering,简称IBR）己逐渐成为虚拟现实技术中一个倍受瞩目的热点问题。该方法首先通过一组预先采集到的场景图像序列构建数据模型，而不是用三维几何模型来模拟一个场景，然后根据用户观察参数确定图像数据合成参数，最后通过图像拼接技术适当组合这些场景图像来产生虚拟场景视图，以完成虚拟场景的绘制工作。由于基于图像的绘制方法充分地利用了图像本身所具备的真实感以及发挥图像显示速度快的优点，成为增强虚拟场景的真实感和提高实时场景绘制的一种重要手段。在基于图像的绘制方法中，图像拼接技术是虚拟场景创建过程中的关键性环节。在医学图像处理方面，显微镜或超声波的视野较小，医
21、师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节。另外，图像拼接技术在机器人导航、视频压缩、军事领域81及文档管理等领域都有应用。从以上几点可以看出，全景图像拼接技术的发展前景十分宽阔，深入研究全景图像拼接技术有着很重要的意义。1.2 全景图拼接技术的发展与研究现状近年来随着图像处理技术的研究和发展，图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui,Hugin,UleadCool360及PanoramaFactory等，这些商业软
22、件多是半自动过程，需要排列好图像顺序，或手动点取特征点。图像拼接的核心技术是图像配准技术，配准算法的好坏直接影响到全景图的真实感和生成过程的实时性。如何确定图像间的对应关系模型中的参数就是图像配准所要完成的工作，根据图像配准的方式大致可以将图像拼接技术分为三大类:相位相关度法、基于区域的方法和基于特征的方法，相位相关度法最早在1975年由KUglin和HineS提出，具有场景无关性，能够将纯粹二维平移的图像精确的对齐。后来，DeCastro和MOrandi发现用傅立变换确定旋转对齐，就像确定平移对齐一样1201996年，Reddy和Chaterji改进了DeCaSt的算法，大大减少了需要转换变
23、量的数量。两幅图像的平移矢量可以通过它们互功率谱(COrSSPOWerSPeCtrUm)的相位直接计算出来。应用傅立叶变换进行图像的配准是图像拼接领域的研究成果，而且随着快速傅立叶变换算法的提出以及信号处理领域对傅立叶变换的成熟应用，图像拼接技术也得到了相应的发展，基于区域的配准方法是在参考图像中选出一个大小为MXN的窗口，该窗口区域即为模板。然后在待配准图像中选择足够大的搜索区域，将模板在搜索区域中移动时所覆盖的区域与模板进行相似性比较，寻找相似性最大的区域，该区域即为所要寻找的区域。常用的相似性度量主要有:归一化函数(normalizedcross-correlationfunctiona
24、l5、相关系数(CorreIationCOeffiCient)、差平方(SeqUentialSimilarity)和最小二乘匹配(IeaStsquaresmatching)。早期的图像配准算法大都是基于区域的，因为该算法简单易于硬件实现;另一方面，医学图像由于纹理特征不是很丰富，所以也多采用这种算法，但是这种算法不适合待拼接度图像中存在较大的旋转和不同视角等情况，基于特征的图像配准算法是图像拼接技术的另一研究热点。在这种方法中，首先要对图像进行处理，提取满足特定应用要求的特征，然后利用特征之间的对应关系来确定模型中的参数。目前大多数文献都是采用的点特征进行图像间的配准来实现图像的镶嵌，目前特征
25、点提取算法己经比较成熟。2000年，FrankNielSen针对HaUSSdorf距匹配算法和瓶颈匹配算法的缺陷，提出了基于桶状模型的角点匹配策略，用来解决大角度旋转图像的配准拼接问题。2003年，M.Brow发表了全自动的图像拼接算法的文章，使用捆绑调整技术，解决图像拼接中经常会出现的叠加误差现象。2004年，DavidG.Lowe采用了具有尺度不变性的SIFT角点提取算法，MatthewBrown则在特征点匹配过程中采用了椭圆限制条件和k-d树算法来解决图像多视角配准问题。2006年，JaniBoUtenie:就部分视频模糊图像拼接进行了研究。首先将视频序列的各帧图像依次进行配准注册，确保
26、相邻两帧图像之间有尽可能大的重叠区域，注册的同时计算出运动模糊物体的总量;然后根据视频序列图像中的运动物体总量和配准注册的质量来选择用于最终图像配准融合的帧图像;最后将所选择的帧图像进行配准融合消除接痕。2007年，MattheW采用概率模型确定一组无序图片的正确顺序并可以检测出噪声图像，实现了无序图像的自动拼接在国内，图像拼接技术起步相对较晚，但很快迅速发展了起来。2001年，清华大学的研究人员提出了一种针对图像拼接过程中的计算量与拼接精度之间进行折衷的方案，该方案用三脚架保证摄像机基本绕垂直轴旋转，但是不对摄像机的旋转角度做严格限制郭海涛等提出了一种将遗传算法用于图像配准的算法，分析了遗传
27、算法中群体的大小、交叉率、变异率及选择机制对影像匹配的影响，特别是对未成熟收敛等问题进行了较为深入的研究。2005年，侯舒维、郭宝龙针对现有基于灰度级相似的图像拼接方法的缺点，提出了一种图像自动拼接的快速算法，该算法综合考虑了图像拼接的精度和速度,在基准特征块的提取上,采用简单的边缘信息闭值法,在块的搜索上，采用金字塔式分层搜索策略。2006年针对动态全景图拼接，李文辉，张岩等人首先采用基于粒子优化的多分辨率拼接算法拼接成静态全景图，然后用摄像机在拍摄场景中拍摄做周期或随机运动的物体，实现视频纹理，最后将视频纹理对准到静态全景图中。1.3 研究内容本文就图像拼接关键技术进行了研究，对现有的算法
28、进行了实验分析，并对算法中存在的问题进行了相应的改进，具体内容如下：1、研究并介绍了图像配准前需要做的准备工作，如图像的获取方式、彩色图像灰度化、全景图投影算法和插值算法。2、在分析了己有基于区域的图像配准算法的基础上，根据本课题的实际,提出了一种改进的模板匹配算法一自适应模板匹配算法。3、对基于特征的图像配准算法进行了研究。针对原有HalTiS角点提取算法对尺度敏感的缺点，本文采用了多尺度的HarriS角点提取算法，用鲁棒的角点匹配策略，实现了图像的配准。4、对现有的各种融合算法进行了研究和比较，并对其中的基于亮度调和处理的融合算法进行了改进，使融合的效果更好;采用最佳缝合线算法和渐入渐出法
29、较好地解决了图像中存在的鬼影和拼接接缝问题。为了验证所研究的算法，本文在WindOWSXP环境下，采用ViSUalC十十6.0开发工具，设计了一个用于全景图像拼接的可视化软件。第二章全景图相关技术概述2.1图像的获取方式图像获取的方法非常重要，图像获取方法的不同导致取得输入图像的不同，最终拼接的结果也不同。目前有多种途径用于获取全景图，主要包括下述三种情况：(1)利用全景相机来直接采集一张柱面全景图像。该方法需要使用特殊设备,不仅价格昂贵而且使用复杂；(2)利用配备较大视域的镜头如鱼眼镜头拍摄。这种方法拍摄的图像中存在很大的变形，将其用于生成球面全景图之前必须进行校正和变换；(3)利用普通照相
30、机、摄像机采集若干能够覆盖整个可视空间的照片序列或视频，相邻照片的拼接可以采用人机交互或自动方法完成。这种方法使用普通照相机或摄像机获取图像对硬件要求不高，因此获得广泛应用。利用普通照相机获取图像时，一般有下述三种情况：1 .旋转照相机拍摄首先将照相机放在固定好的三脚架上。拍摄时，照相机绕垂直轴旋转，每旋转一定的角度，拍摄一张照片。拍摄得到一系列照片中相邻两张必须有部分重叠,重叠区域大小是图像拼接最重要的影响因素，重叠比例越大，拼接就越容易。旋转照相机拍摄由于相机固定，较容易实现。2 .平移照相机拍摄平移照相机指的是照相机在一个平行于成像平面的方向上平移。在固定焦距的情况下，照相机放置在一个滑
31、轨上移动拍摄。物体和照相机的距离远近，或者拍摄物体的大小都会影响到最后的拼接结果。这种情况的缺点是:拍摄的相片在一个平面上，全景图的三维感觉不如旋转拍摄的效果好。3 .手持照相机拍摄手持照相机拍摄这种方法比较容易做到，手持照相机原地旋转拍摄，或者按一定的路线平行于对象拍摄。但是，拼接手持照相机的照片是很困难的，因为在拍摄过程中，照相机的运动非常复杂。原地旋转拍摄类似于固定照相机旋转拍摄，但是角度控制、旋转控制都很差。沿一定路线移动时，类似于平移拍摄，控制距离和保持相同的成像平面是很困难的。本文图像的获取采用的是第一种方法。拍摄时相邻图像具有一定程度的重叠，以便于拼接而得到全景图像。2 .2图像
32、的颜色处理3 .2.1彩色图到灰度图的转化本课题使用数码相机采集到的是24位的BMP真彩色图像，而实际处理时分析的却是8位BMP格式的灰度图像。真彩色图像指的是真实地反映自然物体本来颜色的图像。大多数的彩色图像采集系统都采用24位的真彩色来存储图像，以便最大限度地保证图像信息的完整性。尽管真彩色图像带给人美的享受，但它需要的存储空间大，处理起来占用内存多、消耗机时多。灰度图像是指只含亮度信息，不含色彩信息的图像，就像我们平时看到的黑白照片，它只有亮度从暗到明的变化，而没有色彩信息。灰度图像具有存储量小、其亮度值就是256色调色板的索引号等优点。下面讨论如何把24位的BMP彩色图像文件变成8位的
33、BMP灰度图像。24位BMP格式图像转换成8位灰度BMP格式的图像实现关键点如下：(1)创建调色板灰度图像是一种特殊的256色位图，每个像素颜色分量R,G,B的值都相等。通常也把R,G,B颜色分量值量化为O至255共256个级别。8位的灰度图像使用含有256个表项的调色板，每个表项有如下特点:R=G=Bo由于调色板是显示灰度图像的基础，因此要实现24位真彩色图像到8位灰度图像的转换，首先创建灰度图像的调色板是非常重要的(因为真彩色图像没有调色板)。具体步骤为:创建一个指向BITMAPlNFo结构的指针IPbmi,先为该结构的信息头赋值后，再为结构的调色板各项赋值。(2)变换创建调色板后，如何把
34、真彩色图像的各像素用调色板中最接近的颜色替代呢？VC-+中提供了一个重要的函数BitBlt,该函数格式为:BoOLBitBlt(CDC*hDestDC,intx,inty,intnWidth,intnHeight,CDC*hSrcDC,intxSrc,intySrc,DWORDdwRop其中:hDestDC为目标设备环境的句柄;X指定绘制区域的左上角的X坐标;Y指定绘制区域的左上角的Y坐标;nWidth指定要绘制区域的宽度;nHeight指定要绘制区域的高度;hSrcDC指定要复制位图所在的CDC对象的指针;XSrC指定源位图要绘制区域的左上角的X坐标;ySrc指定源位图要绘制区域的左上角的Y
35、坐标;dwRop指定绘制方式。该函数完成以下的功能咱动实现源位图的颜色格式按照目标位图的颜色格式转化，并且会自动按照最接近的颜色转化。具体转化算法如下：(1)从文档中获取源位图；(2)判断该位图是否为24位位图，若是，转(3),否则，转(9);(3)获取源位图文件头信息；(4)为目标位图文件的信息头和调色板分配内存且填充信息；(5)计算源位图和目标位图的大小并赋值源位图的像素值；(6)将源位图和目标位图的DIB位图分别选进内存设备；(7)给目标位图的内存设备赋颜色表，将源位图的颜色格式按照目标位图的颜色格式转化，且自动按照最接近的颜色转化；(8)删除创建的设备句柄，为目标位图分配内存，复制信息
36、头、调色板和图的像素值，显示和更新文档；(9)结束。2.2.2实验结果彩色图像灰度化结果如图2.1所示彩色图像灰度化结果如图2.1所示.图2.1真彩色图到灰度图转化效果图2. 3柱面投影算法3. 3.1全景图模型分类全景图是构成虚拟环境的基本单位，是描绘某个视点上某个焦距的周围环境的图像。它一般有立方体形、球形和圆柱形三种模型。不同模型的全景图的存取难易程度和观察效果均有很大的差异。L立方体形模型由六个平面投影图像组成，这种结构模型规则性好，存取方式与普通图片的存储方式相近，易于用计算机存取控制，但用相片构建立方体形全景图时，相片的获取和相机的定位难度较大。因立方体的相邻表面之间是相互垂直的，
37、从而要求照相机主光轴在获取相邻的相片时必须垂直，且摄取每一个平面图像需要90度的广角镜，以避免图像的变形，这就要求相机配有昂贵的广角镜头。2 .球形模型由普通镜头照相机拍摄的照片经镶嵌形成一个球面的形状。此模型与立方体形模型均能支持参与者在照相机的视点所在位置，以任意的视线方向观察周围的环境。但是要构成球面模型的全景图，必须先将平面照片投影成相应的球面图像，这是一个在图像平面的:和y方向的非线性图像变形过程，且由于每个球面图像都有多个相邻图像，因此在全景图镶嵌过程中图像求交定位均比较困难。再则，很难找到一个与球面相对应且易于存取的数据结构，以存放球面数据结构。3 .圆柱形模型用全景图相机拍摄的
38、全景相片，或者计算机绘制的全景图像，或者由普通相机拍摄的相片拼接成的一个以相机视点为中心的圆柱形。此模型具有下面两个明显的优点：其单帧相片的获取方式比立方体形模型和球体模型都要简单。只要将一台照相机安装在一个三脚架上，校准镜头、固定支架，在拍摄过程中，使照相机尽量少出现倾斜和翻转现象，且每拍一幅照片，把照相机转动一定角度（一般该角度可以使前后两幅相片有30-50%的画面重叠即可），再拍下一幅。根据几何常识，圆柱面可展开成一个矩形平面，从而我们可将圆柱全景图展开成一个矩形图像，且直接利用计算机的图像格式进行存取与访问。该圆柱形模型在垂直方向上允许参与者视线的转动小于180度，但在绝大多数应用中，
39、体现横向360度的环视环境足以表达空间信息，故360度圆柱形模型全景图是目前构造虚拟环境的较为理想的选择。2.3.2柱面投影算法实景图像的柱面投影算法是为了将多张实景图像投影到一个圆柱面上，以柱面全景图像的形式存储。这样一方面消除了实景图像之间可能存在的重复景物信息，同时也得到了每张实景图像上的像素点在视点空间中的方位信息。如图2.2所示。I是数码相机拍摄的一张实景图像，P(x,Y)是实景图像I上的任意一个像素点。P点在数码相机坐标系下的坐标为x-W12,yH12,其中W和H分别为实景图像I的宽度和高度。我们把圆柱面的中心设为照相机坐标系的原点，并以数码相机的像素焦距f作为圆柱面的半径，下面推
40、导出像素点P在圆柱面上的投影点Q在柱面全景图像中的坐标(fix,Y,)。X图2.2柱面正投影示意图照相机坐标原点与像素点P的直线方程可以表示为参数方程的形式:v=z(,y)W=一/)(2-2)其中r是参数，圆柱面的方程可以表示为：u2+w2f2联立式(21)与式(22)得：J(X-卞+/U与2+r/(y-)V=一产,1!ur(2-3)是像素点(,y)在圆柱面上的投影点Q的参数坐标，把所有这样的投影点组合在一起便得到全景图像。但是参数坐标是三维的，需要把它们转变为二维的图像坐标才便于存储。这里，选用下面的公式来把三维的参数坐标转化为二维的图像坐标：(2-4)X=rctan(-)+fw.HI2Jf
41、其中6=arctan(-)联立式(23)和式(24)得：(2-5)式Q-5)是将实景图像I上的任意一个像素点P(XY)柱面投影到柱面全景图像上一个像素点Q(X,Y)的投影公式。由式(25)也可以得出该投影算法具有使景物在垂直方向上不发生形变的性质。这一性质使我们可以分别对每一张实景图像进行柱面投影变换，然后通过图像拼接得到完整的柱面全景图像。2. 3.3插值算法在图像变换过程中，如图像旋转、投影等容易出现锯齿现象，令图像失真。为了避免这种现象，可采用插值运算。常用的插值算法有邻近插值法、双线性插值法和三次卷积插值法等，下面将分别进行介绍：1 .邻近插值法该算法的主要思想是目标图像中某点通过坐标
42、反变换得到基于原图像的一浮点坐标，对该坐标取整，得到一整数型坐标，用该整数坐标对应的原图像像素值作为该目标图像点的像素值。该算法简单直观，运算量小，然而当图像中包含像素之间灰度级有变化的细微结构时，邻近插值法会在图像中产生人为加工的痕迹。2 .双线性插值法图2.3双线性插值示意图2.3.4实验结果在运行时间上邻近插值法花费的时间最短，双线性插值法次之，三次卷积法最长;在最后的效果上，三次卷积法最好，双线性插值法次之，邻近插值法最差,因此在实验中采用的是运行时间和效果都居中的双线性插值法。图2.5是实际拍摄的彩色图像经过灰度化后的灰度实景图像，图2.6是经过柱面正投影算法，但没有采用双线性插值算
43、法的效果图，从图中可以看到明显的锯齿，图2.7是在图2.6的基础上加入了双线性插值算法后的效果图，从图中已经看不到明显的锯齿了，插值效果比较好。第三章基于特征的图像拼接算法研究与实现图像特征包括像素灰度特征、色彩特征、区域特征、纹理特征、轮廓特征、边缘特征及角点特征等。边缘特征和角点特征是两种较常用的特征。边缘特征在第三章中己经做过介绍，本章将主要介绍角点特征及其应用。3.1 角点特征及其检测算法研究角点是图像重要的局部特征，其直观定义是指在至少两个方向上图像灰度变化均较大的点。在实际图像中轮廓的拐点和线段的末端等都是角点。角点特征因具有信息量丰富、便于测量和表示、能够适应环境光照变化、尤其适
44、用于处理遮挡和几何变形问题等优点而成为许多特征匹配算法的首选。1 .1.1角点检测算法介绍现有的角点检测算法非常多，根据目前对角点的具体定义和描述归纳起来，可以分为三大类，第一类算法基于边缘检测。这类算法首先检测目标边缘轮廓，并编写链码，然后寻找曲率的最大点或者拐点，以此作为角点。KRangarajan提出了基于Canny边缘检测的角点提取算子，将角点提取变为一个优化问题，其衡量检测性能的标准就是信噪比和点位置偏差。由于现有的边缘检测算子检测性能比较差，使得本类算法精度很低。第二类算法基于图像灰度。该方法直接从灰度图像中检测角点。它考虑的是像素点邻域的灰度变化，而不是整个目标的边缘轮廓。Mor
45、aVeC最早提出了直接从灰度图像中检测角点的算法，该算法基于灰度图像的自相关函数。首先在某个固定窗口内，计算某点与周围四个近邻点的灰度自相关函数值，假如四个灰度自相关函数值中的最大值没有超过一个给定闽值，那么该点被选为角点。Harris对Moravec角点提取算法进行了改进提出了Harris角点检测算法，第三类算法基于模板。这类算法检测出的角点比较准确，但是由于模板固定，所以一般来讲只适用于某些特定场合。该类算法应用最多的是SUSAN角点检测算法。它是Smith和Brady提出的一种检测方案，通过计算单一值分割相似的核心区域来判断角点多尺度的Harris角点检测算法2 .HarriS角点检测算
46、法Harris和Stephens提出的Harris角点检测算法，是在Moravec算法的基础上进行的改进。HarriS角点检测算法用一阶偏导来描述亮度变化，这种算子受信号处理中自相关函数的启发，提出了一个与图像的自相关函数相联系的矩阵M,通过计算矩阵M的特征值，即自相关函数的一阶曲率来判断该点是否为角点。Harris角点检测算子定义了任意方向上的自相关值E(u,v)为一组方形区域中图像灰度误差的总和，即：E(U,V)=2H(x,y)f(x+u,y+v)-f(xiy)t(4-1)它的泰勒展开式为：E(w,v)=vwU(4-2)Ly其中，”是2x2的对称矩阵：.偿谓),式(4-3)中/(XM是灰度
47、值，分别是图像X和y方向的一阶偏导。MXj)为xy高斯流波器.角点响应函数定义如下：R=detMk(traceM)2(44)其中，defM=4*2,rmcW=4+2(4、22是矩阵峭特征值)，0.040.06R值越大，表明该点角点是角点的可能性越大。当R大于零且较大时，对应角点;如果较大但是R小于零，则对应于边缘区域;如果Rl较小时，对应于图像的平坦区域。但在实验中，往往太多的角点被提取，因此应该在尝试匹配这些角点之前限制一下角点的数量。可行的方法就是选择那些角点响应函数值大于某个特定闽值的像素点为角点，即取定闭值T,如果R_T寸，该点即为角点。结合上述分析，HalTiS特征点提取算法可以表述如下：(1)对待匹配图中的每个点，计算其在X和y方向的一阶偏导各自的平方以及二者的乘积，对这三项分别进行高斯滤波；(2)对于每一个像素点计算其对应的R值。设定一个闭值，大于该闭值的点作为候选的特征点；(3)将所有的候选特征点按R值的大小从大到小进行排序。对于每一个当前点删除所有排在其后面的且位于其某一邻域内的候选点。Harris角点检测算
