光場VR研究處起步階段，我國極有可能搶占領先地位

2016-07-11 來源：互聯網

虛擬現實(VR)在經歷了幾十年的發展和技術儲備后，近幾年呈現出井噴式增長，美國高盛公司2016年初預測，虛擬現實和增強現實將繼個人電腦和智能手機之后，成為下一代的大型計算平臺，其產生的新的市場規模在未來十年內將有望達到800億美元。

在VR的競技場里，諸如Facebook、Microsoft、Google等高科技巨頭紛紛加入角斗，更有數量眾多的初創公司推動VR技術的飛速發展。由于技術的發展和資本的注入，一個新的虛擬現實產業生態正在形成，市場的期望為虛擬現實相關的各個行業提供了廣闊的發展機遇，也對虛擬現實技術的突破提出了巨大的挑戰。

虛擬現實的目標是通過計算機、電子、通信等技術的結合，創造出人眼無法分辨的虛擬場景，使人們能夠產生身臨其境的切身體驗，猶如沉浸在這種虛擬的環境一般。為了使虛擬現實內容更舒適而且真實地被人眼所接受，虛擬現實設備必須產生符合人眼在自然狀態下觀察物質世界習慣的場景，然而，現有的VR技術并不能完全滿足這樣的需求，由此帶來的沉浸感不足、交互感低和健康等問題造成VR體驗還遠遠低于人們的預期。

近年來，計算成像領域的光場技術憑借其能夠捕獲完整高維度光場信息的能力，為突破虛擬現實中的技術瓶頸提供了絕佳的解決方案，從而能使人眼真正獲得“眼見為實”的沉浸式體驗。

人眼無法分辨的虛擬與現實

人的眼睛是獲取外界信息最主要的渠道，經過長時間的生理進化和日常訓練，人眼形成了感知外部世界的一種本能，其中很重要的一點就是感知深度信息，這包括雙目視差、運動視差、單目遮擋和聚散度等幾種方式。在佩戴頭盔的情況下，人眼實際是聚焦在頭盔的屏幕上，而虛擬現實則試圖“欺騙”人眼和大腦，仿佛雙眼是聚焦在不同的距離。當顯示的內容稍有差錯或延遲，人眼就會敏感地察覺到，并造成相應的神經系紊亂，引發諸如頭痛、眩暈、疲勞等不適癥狀。

實際上，當人在自然狀態下觀察目標時，眼睛是在不斷變焦的，并且能夠通過前庭視反射消除畫面切換時的抖動和模糊。這是因為在人眼的周圍有無數的光線，眼睛通過不斷地改變焦距，采集來自不同方向和位置的光線，聚焦在不同的平面。加上頭部的運動，人可以在很大的范圍內不斷地聚焦在所關心的物體上。也就是說，人需要時刻感知到周圍來自不同位置和方向的光線，這就是光場。因此，虛擬現實要呈現人眼無法分辨的虛擬內容，就必須要借助光場技術來記錄外部世界的完整信息，并將這些信息無損失地復現出來，才能使人眼獲得在自然狀態下觀看的真實感覺。

傳統的虛擬現實之所以不能完全符合人眼的觀察習慣，就是因為其缺乏完整的光場信息。例如，人工合成的360°全景圖片或視頻，并不是真正的虛擬現實，因為這些圖片或視頻缺乏立體視覺效果。但是，即便采用了立體相機拍攝了三維空間信息，獲得了雙目立體視差，也并不是真正意義上的虛擬現實，因為這樣的系統仍然缺乏運動視差，不能形成走入走出的沉浸感，只適合觀看。

再進一步，完美的沉浸感還需要加入聚焦信息，即人眼對焦在不同深度時，雙眼的聚散程度不同，對焦所在的平面是清晰的，而其他平面則應該是模糊的。傳統的VR系統完全沒有提供對焦信息，整個畫面都是清晰的，這就造成了人們長時間佩戴頭盔后產生的各種視覺上的不適癥狀。真實世界的光場是四維數據，只有完全記錄光場信息，并且不失真地重現出光場，虛擬現實所需要的沉浸感和走入走出效果才能淋漓盡致地表現出來。

光場的記錄和復現

對于VR應用，光場是解決浸入感瓶頸難題的有效方法，其中的關鍵技術包括光場的記錄和復現。光場信息包括二維的空間信息和二維的方向信息，目前主要有兩種方式采集光場：相機陣列和微透鏡陣列。麻省理工學院和斯坦福大學先后采用多相機陣列的方式搭建了光場采集系統，從每個相機拍攝到的圖片進行重構，計算出四維光場。斯坦福大學的Ren Ng則采用把微透鏡陣列置于探測器附近的方式，設計出單鏡頭的光場相機，通過重構算法得到完整光場。

光場相機能夠實現先拍照后對焦的功能，初創公司Lytro先后發布了兩款基于此原理的光場相機，另外德國的Raytrix公司也有類似的產品問世。對于VR應用，Lytro也采用光場技術，準備發布一款名為Immerge的光場虛擬現實攝像設備，能夠拍攝360度的全景光場信息。不管采用相機陣列還是光場相機，一旦四維的光場信息能夠完整記錄，就可以在后端的顯示設備中進行光場復現。

光場的復現包括渲染和顯示兩個技術環節。由于光場包含了重要的方向信息，在任意指定的對焦平面和視角方向，通過簡單的積分方法就可以渲染出所需要的場景。然而，光場數據具有很高的維度，記錄到的光場往往因為采樣不足造成混迭現象，在渲染的圖像上出現“鬼像”。光場渲染中的“鬼像”問題可以通過輔助幾何信息進行校正，只需要簡單的幾何信息，就可以大幅降低重對焦后的圖像中的混迭現象。而這些輔助的幾何信息直接可以通過光場相機進行深度估算得到，即通過綜合利用重對焦、焦掃描和遮擋檢測等技術，得到很好的深度圖。最終，渲染的光場圖像可以通過頭盔顯示器顯示給人眼觀看。

由于顯示在頭盔屏幕的是渲染的光場圖像，人眼便可以自然地觀看VR內容，而不會產生傳統VR設備帶來的不適感。另外，光場顯示設備將是光場VR研發和應用中的關鍵技術，Magic Leap公司所用到的顯示設備就是基于光場的原理。近年來，用于近眼顯示的光場頭盔在學術界和產業界引起了極大興趣，這種光場顯示設備采用兩層LCD液晶顯示屏，將光場分解為兩幅圖像，通過光線調制就可以給人眼重現整個光場，人眼就可以自由地進行重對焦或者改變視角。這種能夠重現完整光場的光場顯示技術將是光場VR未來發展的熱點方向。

光場VR內容制作的挑戰

目前國內外光場VR技術研究仍處于起步階段，美國的斯坦福大學在光場成像和光場顯示方面具有深入研究，初創公司Lytro正在研發影視級的光場視頻拍攝系統Immerge，NextVR將光場技術應用到全景3D體育賽事直播中。國內上海科技大學等高校已經開展了光場VR方面的研究，相關產品方面，目前僅有疊境數字(PlexVR)利用光場技術進行光場VR的內容制作，包括環視相機陣列光場采集、線陣光場成像、全景3D成像等，已有產品應用到博物館展品的虛擬現實演示、房地產業的虛擬樣板間參觀、中共一大會址的3D建模和光場重建等。

目前，VR硬件設備和平臺在高科技巨頭的紛紛參與下，已經日漸成型并有高品質的硬件產品可用，而VR內容的開發則嚴重缺乏，尤其是光場VR內容的制作更是處于起步階段。在虛擬現實的產業鏈生態系統中，內容的制作必然占據整個行業拼圖中的很大份額，VR內容制作中涉及的拍攝硬件研制、軟件開發和內容顯示等都是關鍵的核心環節，是一個軟硬件充分結合的產物，因此存在巨大的挑戰。在產業形成的初期，我國與世界領先的VR技術差距還不明顯，因而具有很大的發展空間和潛力，應盡快提高VR內容制作方向的競爭力，占據全球行業發展有利地位。

光場VR是世界上最新的虛擬現實制作概念和技術，對提高VR沉浸感體驗具有極大的作用，也是能夠改變整個虛擬現實領域的顛覆性技術，我國極有可能搶占光場VR技術研究和應用的領先地位。不論是光場VR的基礎理論研究，還是應用開發，我國應加快相關的人才培養、應用普及和政策扶持，為已經來臨的VR產業大發展做好充足的準備工作。

解讀4維光場：VR設備真正的殺手锏

Oculus Rift在視覺體驗上已經做得很不錯了，Oculus花了很長時間將硬件提高到目前的水準，要知道在視覺上騙過人類的眼睛和大腦是件很困難的事情，我們從出生開始就活在3D世界中，所以很容易辨別出來一個模擬的3D環境有哪里不太對勁。于是就導致了頭暈、惡心等等這些癥狀，甚至于再也不想玩VR了。

導致VR之路如此艱難的很大一部分原因，是我們雖然離VR屏幕只有幾厘米，卻試圖說服我們的眼睛，屏中景物在距離我們很遠的地方。

當前這一代的VR顯示設備，使用了很多不同的方式，在一塊扁平的屏幕上人工地生成擁有深度信息的圖像。但缺忽略了一個很重要的技術，這項技術可以讓VR圖像看起來非常自然與舒適——4維光場，它允許類似Lytro的光場相機可以接近真實地還原光場信息，顯示擁有深度信息的圖像，從而更好地緩解“暈動癥”難題。

先看看傳統的VR顯示設備，比如Rift，利用以下幾種因素來創造擁有深度信息的圖像：

雙目視差

你的左右眼分別看到不一樣的景象，當你的大腦處理這兩個影像的時候，雙目的視差會給你帶來景象的深度信息。

動態視差

當你左右搖晃腦袋的時候，離你近的景物比離你遠的景物會移動地更迅速一些，因此VR顯示器可以利用此特性將深度信息加入進來。

雙目遮擋

某個景物在場景的前方，因此會遮擋住后方其他的景物，這就造就了景物根據距離的自然排列。因此，假如一部分遮擋信息同時進入雙眼，大腦就會產生相應的深度信息。

視覺輻輳

當你的眼鏡注視某個物體時，離你越近的景物，越會被眼睛向內翻轉（收斂），以保證其在視域的中心；離你遠的景物，會被眼睛向外翻轉（發散），直到無限遠。翻轉量使得大腦可以計算出景物的深度信息。

為了更好地利用以上特性，大多數VR顯示器分別對每只眼睛顯示單獨的圖像。假如這些圖像與頭部的運動同步地調整與顯示，則可以創造人眼可以承受的視覺深度信息。

然而，即使像上述那樣欺騙大腦創造出了有深度信息的圖像，你的大腦依舊會發現一些地方不對勁。視覺輻輳與另一個深度要素息息相關：焦點調節。當你聚焦于近處的景物，晶狀體收斂性調節；當你聚焦于遠處的景物，晶狀體發散性調節。大多數VR頭顯并沒有將焦點調節考慮到其中，導致全部的圖像一直處于某一個聚焦的狀態，但是你的晶狀體卻會隨著立體影像不斷聚散。

你的大腦極其反感這種情況，這種所謂“視覺輻輳調節沖突”便會導致視疲勞、重影、頭疼、惡心等一系列癥狀，最嚴重的是，這還有可能導致兒童發育中的視覺系統的病變。

那么此時，有個方法可以解決這些問題：4維光場技術。

那么什么是光場？

簡單的說，光場是空間中同時包含「位置」和「方向」的四維光輻射場的參數化表示，是空間中所有光線光輻射函數的總體。

其兩個主要應用方向是「光場拍攝」和「光場顯示」，第一種需要記錄下來整個空間的所有信息，第二個則是需要將這些信息完整地復現出來。通俗地說就是在空間內任意的角度、任意的位置都以獲得整個空間環境的真實信息，用光場獲得的圖像信息更全面，品質更好。

那么什么是4維光場？

空間中一束光的「位置+方向」信息，需要5個維度的坐標來確定—位置需要「X，Y，Z」三個維度（三維坐標系中的點），方向需要「θ，φ」兩個維度（三維坐標系中，θ角是某點與原點構成的直線在XY平面的投影與X軸的夾角，φ角是某點與原點構成的直線在XZ平面的投影與Z軸的夾角）。在計算中，每多一個維度，就會將計算量大大提高，因此要盡量降低維度，所以使用了一個簡單的模型，即利用某條光線與其穿過的兩個平面的交點，來表示這條光線的位置與方向，假設這兩個交點在各自的平面的坐標是（u，v）和（x，y），則這條光線的坐標就是（u，v，x，y），巧妙地從5維降為4維。

為了理解什么是4維光場，以及它何如工作，我們可以從它的實際應用聊起，即4維光場相機，簡稱“光場相機”。Lytro是光場相機品牌中最優秀的之一，對于Lytro相機原理的解釋，有個有趣的比喻：它就好像把一大簇迷你相機捆在一起，同時從一個場景的多個視角捕捉光線信息，當捕捉到每束光線的方向信息后，使用一系列數學方法重建一個數字光場，還原出一個趨近于真實世界的光場。