请选择 进入手机版 | 继续访问电脑版

台湾清华大学与Facebook再度攻破3D照片技术

2020-5-26 19:09 69 0 编辑:互联网
【版权申明】:

  本网站部分内容摘录或转载属于信息来源,如有侵权请与本站联系,我们将第一时间进行处理。任何媒体、网站或个人从本网站下载使用,必须保留本网信息来源,并自行承担版权等法律责任。



有关于2D图像转3D图片,或转移3D模型相关技术,我们报道过多项研究,其中关于3D图片和3D拍照涉及最多的就是Facebook,与此同时包括谷歌、微软、NVIDIA也已公布都在研究2D图像到三维模型(3D模型)之间的训练模型。

可以肯定的是,在很长一段时间内,这种将2D图像转变3D效果或生成三维模型的AI技术将发挥巨大作用,例如应用到电子商务平台,游戏,影视剧,大众娱乐应用等领域有着极大价值。

目前,在2D图像转3D照片,以及3D照片拍摄相关方面,Facebook已经提出初步构建了一套已有的拍摄方案,并在不断完善中。



而近期,弗吉尼亚理工学院暨州立大学、台湾清华大学、Facebook再次公布一项有关3D拍照的AI技术论文,本研究着重改善了现有3D拍照中模糊和不连续性等问题。

Facebook 3D拍照/3D图片技术

在讲述新的研究之前,我们先来回顾一下Facebook现有的3D拍照和3D图像的研究成果。

2018年5月份的F8开发者大会上,Facebook公布3D照片研究,其将嵌入Facebook信息流中,移动设备可通过左右晃动呈现3D景深效果,而PC端则可通过鼠标拖拽观看立体效果,且仅支持拥有“人像模式”的iPhone设备。



实际上,这项技术初衷是为了让用户更轻松的创建出3D图片或其他3D内容,并且让大家可以通过自己的手机完成。

当时Facebook给出的方案是,通过双摄手机拍摄同一图像并计算深度信息,然后进行深度信息解码,再结合单一摄像头拍摄多张图像,通过双组数据对比推算出图片中不同深度数据,将图像进行分层从而实现三维拍摄的目的。

2020年2月,又公布了一项可以让2D照片转3D效果技术,而方法适用于单摄像头手机,完全基于AI技术实现,从而实现功能的互补,意味着几乎主流的智能手机全部支持Facebook 3D照片。



相比来看,这就是一套完全基于2D照片来实现模拟3D效果的升级版,其通过单目数据结合CNN模型,对算法要求更高,并且也需要前期进行大量数据实验积累,实现了在移动设备上快速处理,这对今后普及3D照片,甚至3D内容理解、环境感知等领域方面有极大的帮助。

新方法:单张RGB-D转换3D照片

虽然说上述两个研究已经很出色的完成了消费级场景的应用需求,但是为了满足未来潜在且广泛的3D照片需求,弗吉尼亚理工学院暨州立大学、台湾清华大学、Facebook近期公布了一项基于单目RGB-D图像完成3D照片转换。

简单来说,这是一项将多个图层图像合作的新颖方法,甚至可以还原出原图中被遮挡的部分物体和颜色。其中比较关键的一个就是引入“图像修复模型”,该模型采用上下分层内容感知形式,来填充缺失部分的颜色和内容等细节。

与此同时,通过此方法生成的3D照片可以通过标准图形引擎的运动视差来展示。最终结果就是,3D照片的效果极为出色。



不同方法对比:a,图像缺失、扭曲;b,图像边缘拉伸;Facebook 3D照片效果;4,本方法最终效果



图像预处理过程:a-b,颜色和深度输入;c-d,使用双边滤波锐化;e,基于视差值检测不连续性;f,消除虚假差值,优化图像边缘深度



图像前后感知处理过程:LDI绘图算法、合成区域(红色)、合成区域宽度5个像素宽

通过上述对比图来看,我们原有的3D图像或者存在图像缺失、或者边缘拉伸情况,而Facebook 3D照片也存在边缘模糊。

我们再来通过视频了解一下,该方法应用在最常见的家庭照片的效果。

上面的视频是多种不同方法之间的对比。

另外,我们再来看2.5D视差、旧照片和Dolly Zoom场景的效果图:



Dolly Zoom效果图



2.5D视差效果图



旧照片的效果图

根据论文自身的说法,在日常场景的照片中,本方法和高性能3D拍摄技术效果基本接近。

3D照片就是未来?

当然,本方法也有它的局限性,那就是它要求的是RGB-D图像,必须要求带有深度信息。回过头来看,也就是和Facebook最初发布的3D照片类似,需要双摄版iPhone机型,而安卓设备目前还不确定。不过,多摄像头机型越来越普遍,而且实现3D拍照的方法也越来越多,这点基本不用担心。

前面我们解释过,Facebook在3D照片方便已经耕耘许久,这背后的原因又是什么?

3D摄像技术绝对是一种新颖且能带来更有趣的展现效果,相比常规的2D照片要更有趣。但是,以往想要进行3D拍摄只能通过专业的摄像机,或全景相机,虽然消费级全景相机已经价格较低,但目前仍未达到普及的程度。

而我们又知道,Facebook绝对是AR/VR领域资深玩家,甚至此前还推出过 Surround360全景相机平台,其宣称世界上首个3D和全景视频拍摄端到端解决方案。但是, Surround360计划在2018年之后就很少被提及,甚至与RED合作的全景相机RED Manifold此后声音也越来越小。

其中一方面是目前全景拍摄需求相对小众,即便是消费级全景相机普及率也非常低;另一方面大众媒介直接从2D跳转到三维还需要一个过渡。

很显然,直接利用好大家手中的手机就是一个非常聪明的选择。这时,相信你已看出Facebook早已开始在AR/VR已经未来各种不同场景进行布局和探索尝试。





通过上面的预览效果图来看,可实现多种形态的3D照片模式,可以预想到的是,该技术可直接应用到手机图片处理App中,甚至应用到短视频制作App等等场景,而Facebook自身(包括旗下平台)就是一个图像、视频分享的平台,显然这对于之后的业务拓展也十分有利。

至于未来3D照片是否能够大范围普及,显然还是未知数,但可以肯定的是这些技术和过程的探索无疑对未来AR/VR/全息时代三维信息产生、交互拥有重大意义。

收藏 邀请

呵呵

点赞

鄙视

打酱油

震惊
此篇文章已有0人参与评论

请发表评论

全部评论

精彩阅读

黑科技

网站地图- 虚拟99


本站内容来自互联网与用户分享,如有侵权请联系我们删除!  
联系QQ:363312702@qq.com  投诉举报邮箱:xuni99@qq.com 赣公网安备36112102000044号 赣ICP备17001544号
虚拟99所登载广告内容均为客户个人或企业单方意见及表达方式,广告实际内容与本站无关。 不允许任何形式的转载以及拷贝,违者必究!
温馨提示:虚拟99仅提供互联网信息平台发布、展示、储存服务,所有产品及展示信息均由注册用户自行发布,内容数据不代表本站立场,仅供参考阅读。
风险提醒:虚拟99对用户自主发布的信息真实性无法考究,涉及资金交易问题请谨慎!  虚拟99无法提供资金安全保障,请注意投资风险,提高警惕谨防诈骗!