虚拟现实(VR)在经历了几十年的发展和技术储备后，近几年呈现出井喷式增长，美国高盛公司2016年初预测，虚拟现实和增强现实将继个人电脑和智能手机之后，成为下一代的大型计算平台，其产生的新的市场规模在未来十年内将有望达到800亿美元。

在VR的竞技场里，诸如Facebook、Microsoft、Google等高科技巨头纷纷加入角斗，更有数量众多的初创公司推动VR技术的飞速发展。由于技术的发展和资本的注入，一个新的虚拟现实产业生态正在形成，市场的期望为虚拟现实相关的各个行业提供了广阔的发展机遇，也对虚拟现实技术的突破提出了巨大的挑战。

虚拟现实的目标是通过计算机、电子、通信等技术的结合，创造出人眼无法分辨的虚拟场景，使人们能够产生身临其境的切身体验，犹如沉浸在这种虚拟的环境一般。为了使虚拟现实内容更舒适而且真实地被人眼所接受，虚拟现实设备必须产生符合人眼在自然状态下观察物质世界习惯的场景，然而，现有的VR技术并不能完全满足这样的需求，由此带来的沉浸感不足、交互感低和健康等问题造成VR体验还远远低于人们的预期。

近年来，计算成像领域的光场技术凭借其能够捕获完整高维度光场信息的能力，为突破虚拟现实中的技术瓶颈提供了绝佳的解决方案，从而能使人眼真正获得“眼见为实”的沉浸式体验。

人眼无法分辨的虚拟与现实

人的眼睛是获取外界信息最主要的渠道，经过长时间的生理进化和日常训练，人眼形成了感知外部世界的一种本能，其中很重要的一点就是感知深度信息，这包括双目视差、运动视差、单目遮挡和聚散度等几种方式。在佩戴头盔的情况下，人眼实际是聚焦在头盔的屏幕上，而虚拟现实则试图“欺骗”人眼和大脑，仿佛双眼是聚焦在不同的距离。当显示的内容稍有差错或延迟，人眼就会敏感地察觉到，并造成相应的神经系紊乱，引发诸如头痛、眩晕、疲劳等不适症状。

实际上，当人在自然状态下观察目标时，眼睛是在不断变焦的，并且能够通过前庭视反射消除画面切换时的抖动和模糊。这是因为在人眼的周围有无数的光线，眼睛通过不断地改变焦距，采集来自不同方向和位置的光线，聚焦在不同的平面。加上头部的运动，人可以在很大的范围内不断地聚焦在所关心的物体上。也就是说，人需要时刻感知到周围来自不同位置和方向的光线，这就是光场。因此，虚拟现实要呈现人眼无法分辨的虚拟内容，就必须要借助光场技术来记录外部世界的完整信息，并将这些信息无损失地复现出来，才能使人眼获得在自然状态下观看的真实感觉。

传统的虚拟现实之所以不能完全符合人眼的观察习惯，就是因为其缺乏完整的光场信息。例如，人工合成的360°全景图片或视频，并不是真正的虚拟现实，因为这些图片或视频缺乏立体视觉效果。但是，即便采用了立体相机拍摄了三维空间信息，获得了双目立体视差，也并不是真正意义上的虚拟现实，因为这样的系统仍然缺乏运动视差，不能形成走入走出的沉浸感，只适合观看。

再进一步，完美的沉浸感还需要加入聚焦信息，即人眼对焦在不同深度时，双眼的聚散程度不同，对焦所在的平面是清晰的，而其他平面则应该是模糊的。传统的VR系统完全没有提供对焦信息，整个画面都是清晰的，这就造成了人们长时间佩戴头盔后产生的各种视觉上的不适症状。真实世界的光场是四维数据，只有完全记录光场信息，并且不失真地重现出光场，虚拟现实所需要的沉浸感和走入走出效果才能淋漓尽致地表现出来。

光场的记录和复现

对于VR应用，光场是解决浸入感瓶颈难题的有效方法，其中的关键技术包括光场的记录和复现。光场信息包括二维的空间信息和二维的方向信息，目前主要有两种方式采集光场：相机阵列和微透镜阵列。麻省理工学院和斯坦福大学先后采用多相机阵列的方式搭建了光场采集系统，从每个相机拍摄到的图片进行重构，计算出四维光场。斯坦福大学的Ren Ng则采用把微透镜阵列置于探测器附近的方式，设计出单镜头的光场相机，通过重构算法得到完整光场。

光场相机能够实现先拍照后对焦的功能，初创公司Lytro先后发布了两款基于此原理的光场相机，另外德国的Raytrix公司也有类似的产品问世。对于VR应用，Lytro也采用光场技术，准备发布一款名为Immerge的光场虚拟现实摄像设备，能够拍摄360度的全景光场信息。不管采用相机阵列还是光场相机，一旦四维的光场信息能够完整记录，就可以在后端的显示设备中进行光场复现。

光场的复现包括渲染和显示两个技术环节。由于光场包含了重要的方向信息，在任意指定的对焦平面和视角方向，通过简单的积分方法就可以渲染出所需要的场景。然而，光场数据具有很高的维度，记录到的光场往往因为采样不足造成混迭现象，在渲染的图像上出现“鬼像”。光场渲染中的“鬼像”问题可以通过辅助几何信息进行校正，只需要简单的几何信息，就可以大幅降低重对焦后的图像中的混迭现象。而这些辅助的几何信息直接可以通过光场相机进行深度估算得到，即通过综合利用重对焦、焦扫描和遮挡检测等技术，得到很好的深度图。最终，渲染的光场图像可以通过头盔显示器显示给人眼观看。

由于显示在头盔屏幕的是渲染的光场图像，人眼便可以自然地观看VR内容，而不会产生传统VR设备带来的不适感。另外，光场显示设备将是光场VR研发和应用中的关键技术，Magic Leap公司所用到的显示设备就是基于光场的原理。近年来，用于近眼显示的光场头盔在学术界和产业界引起了极大兴趣，这种光场显示设备采用两层LCD液晶显示屏，将光场分解为两幅图像，通过光线调制就可以给人眼重现整个光场，人眼就可以自由地进行重对焦或者改变视角。这种能够重现完整光场的光场显示技术将是光场VR未来发展的热点方向。

光场VR内容制作的挑战

目前国内外光场VR技术研究仍处于起步阶段，美国的斯坦福大学在光场成像和光场显示方面具有深入研究，初创公司Lytro正在研发影视级的光场视频拍摄系统Immerge，NextVR将光场技术应用到全景3D体育赛事直播中。国内上海科技大学等高校已经开展了光场VR方面的研究，相关产品方面，目前仅有叠境数字(PlexVR)利用光场技术进行光场VR的内容制作，包括环视相机阵列光场采集、线阵光场成像、全景3D成像等，已有产品应用到博物馆展品的虚拟现实演示、房地产业的虚拟样板间参观、中共一大会址的3D建模和光场重建等。

目前，VR硬件设备和平台在高科技巨头的纷纷参与下，已经日渐成型并有高品质的硬件产品可用，而VR内容的开发则严重缺乏，尤其是光场VR内容的制作更是处于起步阶段。在虚拟现实的产业链生态系统中，内容的制作必然占据整个行业拼图中的很大份额，VR内容制作中涉及的拍摄硬件研制、软件开发和内容显示等都是关键的核心环节，是一个软硬件充分结合的产物，因此存在巨大的挑战。在产业形成的初期，我国与世界领先的VR技术差距还不明显，因而具有很大的发展空间和潜力，应尽快提高VR内容制作方向的竞争力，占据全球行业发展有利地位。

光场VR是世界上最新的虚拟现实制作概念和技术，对提高VR沉浸感体验具有极大的作用，也是能够改变整个虚拟现实领域的颠覆性技术，我国极有可能抢占光场VR技术研究和应用的领先地位。不论是光场VR的基础理论研究，还是应用开发，我国应加快相关的人才培养、应用普及和政策扶持，为已经来临的VR产业大发展做好充足的准备工作。

解读4维光场：VR设备真正的杀手锏

Oculus Rift在视觉体验上已经做得很不错了，Oculus花了很长时间将硬件提高到目前的水准，要知道在视觉上骗过人类的眼睛和大脑是件很困难的事情，我们从出生开始就活在3D世界中，所以很容易辨别出来一个模拟的3D环境有哪里不太对劲。于是就导致了头晕、恶心等等这些症状，甚至于再也不想玩VR了。

导致VR之路如此艰难的很大一部分原因，是我们虽然离VR屏幕只有几厘米，却试图说服我们的眼睛，屏中景物在距离我们很远的地方。

当前这一代的VR显示设备，使用了很多不同的方式，在一块扁平的屏幕上人工地生成拥有深度信息的图像。但缺忽略了一个很重要的技术，这项技术可以让VR图像看起来非常自然与舒适——4维光场，它允许类似Lytro的光场相机可以接近真实地还原光场信息，显示拥有深度信息的图像，从而更好地缓解“晕动症”难题。

先看看传统的VR显示设备，比如Rift，利用以下几种因素来创造拥有深度信息的图像：

双目视差

你的左右眼分别看到不一样的景象，当你的大脑处理这两个影像的时候，双目的视差会给你带来景象的深度信息。

动态视差

当你左右摇晃脑袋的时候，离你近的景物比离你远的景物会移动地更迅速一些，因此VR显示器可以利用此特性将深度信息加入进来。

双目遮挡

某个景物在场景的前方，因此会遮挡住后方其他的景物，这就造就了景物根据距离的自然排列。因此，假如一部分遮挡信息同时进入双眼，大脑就会产生相应的深度信息。

视觉辐辏

当你的眼镜注视某个物体时，离你越近的景物，越会被眼睛向内翻转（收敛），以保证其在视域的中心；离你远的景物，会被眼睛向外翻转（发散），直到无限远。翻转量使得大脑可以计算出景物的深度信息。

为了更好地利用以上特性，大多数VR显示器分别对每只眼睛显示单独的图像。假如这些图像与头部的运动同步地调整与显示，则可以创造人眼可以承受的视觉深度信息。

然而，即使像上述那样欺骗大脑创造出了有深度信息的图像，你的大脑依旧会发现一些地方不对劲。视觉辐辏与另一个深度要素息息相关：焦点调节。当你聚焦于近处的景物，晶状体收敛性调节；当你聚焦于远处的景物，晶状体发散性调节。大多数VR头显并没有将焦点调节考虑到其中，导致全部的图像一直处于某一个聚焦的状态，但是你的晶状体却会随着立体影像不断聚散。

你的大脑极其反感这种情况，这种所谓“视觉辐辏调节冲突”便会导致视疲劳、重影、头疼、恶心等一系列症状，最严重的是，这还有可能导致儿童发育中的视觉系统的病变。

那么此时，有个方法可以解决这些问题：4维光场技术。

那么什么是光场？

简单的说，光场是空间中同时包含「位置」和「方向」的四维光辐射场的参数化表示，是空间中所有光线光辐射函数的总体。

其两个主要应用方向是「光场拍摄」和「光场显示」，第一种需要记录下来整个空间的所有信息，第二个则是需要将这些信息完整地复现出来。通俗地说就是在空间内任意的角度、任意的位置都以获得整个空间环境的真实信息，用光场获得的图像信息更全面，品质更好。

那么什么是4维光场？

空间中一束光的「位置+方向」信息，需要5个维度的坐标来确定—位置需要「X，Y，Z」三个维度（三维坐标系中的点），方向需要「θ，φ」两个维度（三维坐标系中，θ角是某点与原点构成的直线在XY平面的投影与X轴的夹角，φ角是某点与原点构成的直线在XZ平面的投影与Z轴的夹角）。在计算中，每多一个维度，就会将计算量大大提高，因此要尽量降低维度，所以使用了一个简单的模型，即利用某条光线与其穿过的两个平面的交点，来表示这条光线的位置与方向，假设这两个交点在各自的平面的坐标是（u，v）和（x，y），则这条光线的坐标就是（u，v，x，y），巧妙地从5维降为4维。

为了理解什么是4维光场，以及它何如工作，我们可以从它的实际应用聊起，即4维光场相机，简称“光场相机”。Lytro是光场相机品牌中最优秀的之一，对于Lytro相机原理的解释，有个有趣的比喻：它就好像把一大簇迷你相机捆在一起，同时从一个场景的多个视角捕捉光线信息，当捕捉到每束光线的方向信息后，使用一系列数学方法重建一个数字光场，还原出一个趋近于真实世界的光场。