基于双目立体视觉的多视点裸眼3D技术设计

发表时间:2019/5/13   来源:《知识-力量》2019年8月26期   作者:王卉 汪国强
[导读] 视觉在人的感官中具有重要作用。由于人们对观看效果的要求的不断提高,裸眼3D应运而生。由于其具有巨大的市场和开发前景,在工程,医疗,电影,广告中广泛运用。
(黑龙江大学,黑龙江 哈尔滨 150000)
摘要:视觉在人的感官中具有重要作用。由于人们对观看效果的要求的不断提高,裸眼3D应运而生。由于其具有巨大的市场和开发前景,在工程,医疗,电影,广告中广泛运用。双目立体视觉技术是让两个摄像机在同一场景下拍摄目标物体的二维信息,根据所获得的两幅图片,寻找对应点,从而获得视差图。
关键词:视觉;裸眼3D;双目立体视觉

 
         1.前言
         由于裸眼3D技术关系到观看角度等因素,若视角很小时,达不到多人同时观看的要求。最近3D技术在迅速发展,多视点的显示技术可解决许多问题。
         多视点技术利用显示设备提供给观察者更多的观察视角以满足观看需求。这样一方面提供了更大的观看视角以满足多人观看,另一面观看者在移动过程中能通过变换的视点获得运动视差加深立体感。立体视觉技术是计算机视觉的重要分支,在联系实际应用立体视觉中双目立体视觉技术成为现在研究的热点和难点。基于双目立体视觉技术的三维重建需要的设备简单,具有成本低、精度高、方便可靠、大众化等优点,从而在工业制造与现实生活中的运用越来越广泛。双目立体视觉的本质是利用两个摄像机在同一场景下拍摄物体的二维信息,再找出两幅图像之间的对应关系,获得视差图,然后对物体的三维结构在计算机上进行显示。在立体显示技术中,非裸眼的3D成像技术需要依靠快门式眼睛、互补色眼睛、偏振眼镜等,给人们的舒适度造成了一定的影响。因此选择基于双目立体视觉的多视点裸眼3D显示方法是最佳的。这种方法不需要佩戴眼镜,观看者在看显示器时比较自由,灵活性较强,并且三维场景信息相对准确。
         2.本课题研究领域在国内外的研究动态及发展趋势:
         由于裸眼 3D 显示技术可以应用在娱乐、教育、医疗等众多方面,不同国家和地区的各类机构都对此产生极大兴趣,并取得了丰硕成果。在2002年,Philips公司提出的先进三维电视系统技术的项目极大地推动了3D显示技术。该项目提出采用基于深度图像的绘制(depth-image-based  rendering,DIBR)技术来合成立体视频。DIBR 能在接收端方便地合成新视点的图像,尽可能的提高显示的分辨率,且具有兼容性好、交互性强等优点。2010 年,日本夏普公司研发出世界上首款高画质裸眼 3D 移动触摸屏,且支持 2D/3D 切换功能。该屏幕采用视差屏障技术形成立体影像,借助 CG  Silicon 液晶处理工艺,显示效果非常出色。
         我国对3D显示技术的需要很大,如国内的重庆大学、南京大学、清华大学等高校在视频图像处理、3D技术相关的芯片等领域实施了研究。由于立体显示器的快速发展,很多研究人员把立体显示器和双目立体视觉技术结合起来给许多领域带来了新的发展方向,并且耳鼻喉科、脑肿瘤、眼科等外科医疗手术治疗是一个重要领域。
         3.课题主要研究内容:
         1.介绍双目立体视觉的平台搭建,根据针孔摄像机到双目摄像机推出双目立体视觉的原理,对双目立体视觉的步骤:图像获取、摄像机标定、图像预处理、立体匹配、三维重建等步骤进行介绍。
         2.对摄像机成像模型及标定进行介绍,主要介绍了张定友棋盘标定法,给出了世界坐标系、摄像机坐标系、图像物理坐标系和图像像素坐标系之间的转换关系。
         3.说明立体校正的目的,用Bouguet极线校正算法来校正双目图像,使由左右摄像机得到的两幅图像的对应点在一条直线上。


         4.对不同类型的立体匹配算法进行优缺点比较,主要介绍了基于图像分割的立体匹配算法,并对其进一步优化,基于 Matlab 实现了算法的仿真实验,并对实验的结果进行详细的分析。
         5.分析了基于DIBR的多视点视图绘制技术,并对DIBR技术进行了仿真实验。最后针对手术显微镜特有的光学结构进行分析,并提出了应用于外科手术医疗的裸眼 3D 显示的实现方案。
         4.课题拟解决的主要技术问题
         随着当今医疗水平的提高,显微手术已被广泛应用于医学当中。由于显微手术的精确度较高,而且手术时间一般比较长,医生只能通过显微镜来观察,其姿势难以调整,这给医生带来了较大的压力。随着现代科技的发展,科技人员提出应用多视点的裸眼3D来解决此类问题。因此基于双目立体视觉原理来完成显微手术画面的三维立体成像具有重大意义。在基于双目立体视觉的三维图像的构建过程中,立体匹配是最关键的一步,其中基于图像分割的匹配方法能充分利用场景结构信息,为了得到更加精确的立体匹配结果,本文将对该算法做出改进。虽然具有两个视点的视图便能构成立体图像,但其观看视角范围较小,因此采用基于DIBR的多视点视图绘制技术来达到增大视角范围的作用。
         5.研究过程中的主要问题、难点和解决方法:
         论文撰写过程中的问题和难点:
         (1)如何选择合适的立体匹配算法,使得到的匹配结果较准确。
         (2)如何解决DIBR的视图合成过程中的空洞填充问题
         (3)如何提高新视点的图像质量
         (4)解析度低、可视角度和可视距离有限等问题,导致设计的裸眼3D内容,在用户观看时会有眩晕感和模糊感。
         (5)多视点技术中的分辨率损失较大的情况
         解决办法
         (1)比较不同的算法,并加以改进。
         (2)基于裸眼3D的特征,深入分析裸眼3D立体视觉影响因素,建立裸眼3D内容设计方法和设计流程,力求达到最优的立体视觉效果,为裸眼3D内容的设计提供指导。。
         (3)采用基于视差图的空洞填充算法来填充空洞。
参考文献
[1]马颂德,张正友.计算机视觉-计算机理论与算法基础.北京:科学出版社,2003: 1~2.
[2]Roberts.Machine  perception of the three-dimensional solids.Optical and Electro-optical Information Processing,1965: 159~197.
[3]刘然,谢辉,邰国钦,谭迎春.DIBR 中一种基于视图判定的褶皱消除方法.同济大学学报(自然科学版),2013(01).
[4]刘然,谭迎春,谢辉,田逢春,邰国钦,郭瑞丽,刘军令,罗雯怡,刘阳,鲁国宁,许小艳,黄扬帆,甘平.一种适用于 3D 电视的DIBR系统.2012.

作者简介:王卉(1996.10-),女,江西省上饶市人,哈尔滨南岗区黑龙江大学,电子与通信工程2018级,硕士,信号与检测;
汪国强(1963.09-),男,黑龙江省哈尔滨市人,黑龙江大学电子工程学院副院长,在职教授,研究方向为智能视频监控,图像处理等。
 
 
投稿 打印文章 转寄朋友 留言编辑 收藏文章
  期刊推荐
1/1
转寄给朋友
朋友的昵称:
朋友的邮件地址:
您的昵称:
您的邮件地址:
邮件主题:
推荐理由:

写信给编辑
标题:
内容:
您的昵称:
您的邮件地址: