和2D顯示屏、手機屏幕相比，VR圖像為什么看起來更加沉浸、立體呢？一方面是透鏡將左右眼圖像結合，形成3D視覺效果，而另一方面則歸功于屏幕畫面與頭部追蹤的同步作用。

(相關資料圖)

簡單來講，就是VR會根據用戶頭部的位置和朝向來改變其眼前的畫面，每一幀畫面對應了用戶觀看眼前場景的不同視角，從而模擬人眼3D視覺效果，營造一種立體、沉浸的感覺。

換句話說，假如你看傳統電腦顯示屏，不管從哪個角度看它，屏幕上的圖像觀感都是靜止的。當然，我們也可以通過動態渲染和模擬，來營造一種裸眼3D的感覺，比如任天堂3DS就通過雙攝像頭，來捕捉人眼雙目視差，從而形成3D觀感。近期，電商平臺Shopify的“空間商務項目”團隊就研發了一種類似的技術，該技術名為WonkaVision，特點是用2D顯示器實現裸眼3D視覺效果，且成本低，通過電腦攝像頭來追蹤用戶頭部，從而將電腦屏幕的靜止畫面變得立體。

據青亭網了解，WonkaVision靈感來自于谷歌工程總監Johnny Lee在15年前的一個發明，當時Lee經過改裝，將任天堂Wii控制器變成了紅外頭部追蹤裝置，用來定位穿戴在用戶頭上的傳感器，并利用捕捉到的頭部信息，將2D屏幕變成了跟隨頭部變化的裸眼3D效果（宣稱是“VR效果”）。盡管Lee的改裝發明獲得網友普遍好評，給人留下了深刻的印象，但它幾乎從未被商用。據悉，Lee此前曾參與過微軟Kinect項目，也曾是Google Tango的負責人，而現在則在谷歌從事AR設備和體驗管理。

改進的裸眼3D方案

為了改進Lee的設計，Shopify想用電腦攝像頭來取代Wii控制器，并將裸眼3D程序在瀏覽器中運行。Shopify表示：如果使用電腦攝像頭就能實現Lee的方案，那么它將被更多人使用，甚至可能帶來全新的網絡交互體驗。未來可以和電商平臺很好的結合，比如打造虛擬界面、立體的商品預覽等等，如將品牌網站打造成立體的虛擬店面，允許消費者查看店面中的商品，就像是在線下逛商場的感覺。

值得注意的是，WonkaVision并非通過紅外信號定位頭部，而是通過攝像頭來追蹤用戶的眼球。通常電腦攝像頭為單目方案，于是項目組采用谷歌MediaPipe Iris眼球追蹤模型，它使用單個RGB攝像頭就能定位人眼的位置，以及瞳孔的特征點，無需借助專門的硬件。基于此，WonkaVision可預測出人眼和攝像頭之間的相對位置，相對誤差小于10%。

不過由于MediaPipe Iris并沒有開源的JavaScript，所以不能在網頁端運行。于是，Shopify改用MediaPipe Face Mesh，來測量攝像頭與人眼之間的距離，經驗證其準確性對WonkaVision足夠用。以下是它的流程：

1）MediaPipe Face Mesh檢測瞳孔周圍四個點（上下左右）；

2）結合四個點距離，以及瞳孔平均寬度（11.7毫米），來預測用戶瞳孔參數；

3）結合瞳孔參數和攝像頭參數，通過簡單的針孔相機模型方程，來計算出人眼在空間中的深度/距離，從而推算出其X、Y坐標。

通過檢測黑白棋盤四角，來計算攝像頭參數

利用DIY方式驗證瞳孔距離預測的準確度

將屏幕變成虛擬窗口

通過WonkaVision，Shopify希望那個將2D顯示屏變成一個“窗口”，就像是當你透過窗戶查看外面立體景色那樣，屏幕顯示的畫面會跟隨你的視角、距離而變化，看起來就像窗外的景色。

在解決眼球追蹤功能后，Shopify團隊在游戲引擎中建立了一個3D場景，并將該場景與屏幕邊緣對齊，將攝像頭的位置作為起始點。也就是說，該場景顯示在屏幕上的每一幀，都是根據人眼和屏幕/攝像頭的距離來改變。

為什么要將虛擬場景和物理屏幕對齊呢？Shopify解釋，為了讓屏幕有窗戶的效果，則需要假設屏幕邊框存在于虛擬世界中。與此同時，還在人眼（右眼）的位置設置了一個虛擬相機，這樣虛擬相機就能捕捉到，在人眼位置看3D場景的效果（看起來具有遠近深度）。

同軸和離軸透視投影

在這個方案中，Shopify還探索了3D成像的同軸、離軸投影問題。

如果WonkaVision的虛擬相機使用軸上透視投影方案，那么視椎體看起來像是形狀不變的金字塔，它的問題是窗框外邊的虛擬場景也會透出來。那么如果使用離軸透視投影矩陣，虛擬相機的視椎體則看起來像是不對稱的金字塔，底部固定在虛擬窗口上，從正面看起來視覺效果理想，虛擬場景的內容會根據視角和距離而變化，窗口邊緣外的虛擬內容不可見。

另外，WonkaVision的虛擬相機位于右眼，而非雙眼中間。這是因為它追蹤雙眼位置來渲染3D效果，而非定位整個頭部。但它有一個局限，就是只能將虛擬相機放在一只眼睛的位置，觀看時需要閉上另一只眼睛。而如果將虛擬攝像頭放在雙眼中間，則無法準確計算雙目視差，導致深度錯覺感消失。Shopify表示：虛擬攝像頭放在雙眼中間時，依然能生成有趣的效果，但立體感不夠理想。

實際上，VR頭顯就基于類似原理。VR會將同一個場景渲染兩次，分別對應左右眼，并分別顯示在屏幕左側或右側（或是左右兩塊屏幕）。而對于WonkaVision來講，由于只有一塊屏幕，因此便僅從一只眼的角度來進行渲染。

最終原型

經過驗證，WonkaVision視覺效果自然，看起來就像從屏幕中沖出來一樣。未來，除了虛擬商品、店面展示外，WonkaVision也可以為動畫、游戲等內容帶來有趣的3D視覺體驗，比如用肉眼感知僵尸從屏幕里面走出來的感覺。

不過與Lee的方案類似，WonkaVision也存在一些局限，導致其難以被廣泛應用。Shopify指出，雖然解決了硬件成本問題，但攝像頭參數很難計算，而且屏幕的尺寸各不相同，因此難以適配。此外，它還有一些局限，比如需要閉上一只眼才有好的效果，這無疑為用戶體驗帶來了門檻。

盡管WonkaVision可以在網頁端運行，但它依然不適合廣泛使用，因為目前僅適用于一種屏幕尺寸，和一種固定的攝像頭參數。除非能夠輕松獲得任何攝像頭參數，以及屏幕尺寸，否則這種3D模擬方案將很難成為主流。參考：Shopify