新的虚拟现实体验可提供极高质量的图像

科学家们推出了一种新的虚拟现实(VR)沉浸式体验，该体验基于一种新颖的系统，该系统使用光场捕捉并渲染来自现实世界的高质量逼真图像。

谷歌公司推出了基于新系统的全新虚拟现实(VR)沉浸式体验，该系统使用光场捕捉并呈现来自现实世界的高质量逼真图像。由Google领先的研究人员组成的团队，欢迎来到Light Fields，这是科技巨头闯入新兴的光场VR体验舞台，这是VR视频技术的一个令人兴奋的角落，因为它承诺提供极高质量的图像和体验在虚拟世界中。

谷歌今年早些时候发布了欢迎使用Light Fields作为Steam VR上的免费应用程序，用于HTC Vive，Oculus Rift和Windows混合现实耳机。创作者将在今年会议的新空间Immersive Pavilion的SIGGRAPH 2018展示VR体验。该馆专门用于虚拟，增强和混合现实，并将包含：Vrcade，VR，AR和MR游戏或体验的空间;VR Theatre，一个讲故事的盛会，是计算机动画节的一部分;和着名的村庄，用于展示大型项目。SIGGRAPH 2018年8月12日至16日在不列颠哥伦比亚省温哥华举行，是一年一度的聚会，展示了世界领先的专业人士，学者和创意人才，他们处于计算机图形学和互动技术的最前沿。

欢迎来到光场的目的地包括美国国家航空航天局的航天飞机发现号，向观众提供飞行甲板内的宇航员视图，该视图从未向公众开放;Gamble House的原始柚木和桃花心木内饰，加利福尼亚州帕萨迪纳的建筑瑰宝;以及位于加利福尼亚州格拉纳达山的辉煌的圣斯蒂芬教堂，这里有超过14,000件闪闪发光的彩色玻璃墙。

“我喜欢VR中的光场可以将你传送到现实世界中的异国情调，真正让你相信自己就在那里，”Google的软件工程师Ryan Overbeck说。“对我来说，这很神奇。”

为了将这种体验变为现实，Overbeck与一个团队合作，其中包括Google的高级工程师Paul Debevec，他负责管理该项目并领导工程师薛明宇，Jay Busch和Graham Fyffe的硬件部分。有了Overbeck，Daniel Erickson和Daniel Evangelakos专注于软件终端。研究人员设计了一个全面的系统，用于从现实世界中捕获的镜头中捕获和渲染高质量的球形光场静止图像。他们开发了两款易于使用的光场摄像机装置，基于GoPro Hero4action运动相机，可有效捕捉球体表面的数千张图像。然后，这些图像通过基于云的光场处理管道。

除此之外，Overbeck解释道，“处理管道使用计算机视觉将图像放置在3D中并生成深度图，我们使用vp9视频编解码器[视频格式化]的修改版本将光场数据压缩到可管理的尺寸。”他指出，为了渲染光场数据集，团队使用了一种渲染算法，可以实时混合数千个光场图像。

该团队依靠Google在计算机视觉，图形，视频压缩和机器学习方面的优秀工程师库来克服光场技术带来的独特挑战。他们还与WebM团队(制作vp9视频编解码器)密切合作，开发出融入其系统的高质量光场压缩格式，并充分利用Jump VR团队的专业知识，帮助制作图像并生成深度地图。(Jump是Google的专业VR系统，用于大规模实现3D-360视频制作。)

事实上，通过Welcome to Light Fields，Google团队展示了光场VR技术的潜力和前景，展示了该技术能够以无与伦比的真实感提供真正身临其境的体验。尽管光场技术已经在计算机图形学中研究和探索了30多年，但实际提供高质量光场经验的实际系统尚未成为可能。

团队创建VR光场体验背后的一部分动力是激发新生的领域。

“欢迎来到Light Fields，证明现在有可能制造一个引人注目的光场VR浏览器，它运行在消费级硬件上，我们希望这些知识能够鼓励其他人参与构建光场技术和媒体，”Overbeck说道。 。“我们理解，为了最终制作基于光场的引人注目的消费产品，我们需要一个蓬勃发展的光场生态系统。我们需要开放式光场编解码器，我们需要艺术家创造美丽的光场图像，我们需要人们使用VR以便搞光场。“