Vision Pro的發布帶來了眾多討論，從交互層面來看，它真正的將AR/VR的首選交互從手柄轉移到手勢+眼球上面來，此前的AR、VR大部分還是通過手柄來完成交互（HoloLens除外），手勢交互是它們的第二選擇。

【資料圖】

交互方式主要靠眼睛注視（融合手勢）的方式自然也會帶來一些疑問，比如是否容易造成眼疲勞？圍繞這一話題，也有不少開發者、工程師、設計師等展開討論。

近期，前蘋果高級AI和AR設計師Bart Trzynadlowski發表了自己的看法，它在職期間負責了Vision Pro和在保密階段的AR項目開發工作，雖然不能泄密，但它公開資料中向我們帶來更多解讀，包括技術、UI、UX等多個方面。

1. 眼球追蹤交互的難點

為什么眼球追蹤不能轉換成精準的輸入？這就要說到復雜的人眼運動特性。人眼除了主動移動外，還會存在一些細微的被動運動，如果這些微動作被識別為意圖，那么眼球追蹤結果很難準確。

因此，眼球追蹤系統存在一種叫“Midas Touch”的難題，即人眼常見的眼跳、眨眼等無意的微動作會在交互中產生誤操作，就像是傳說中的Midas一樣，手指點到的任何東西都會變成金子。如果眼球交互的錯誤率高，那么體驗感也不會理想。

此前，Unity高級研發工程師Eric Pvncher曾指出，此前的XR頭顯不廣泛使用眼球輸入，原因是很難做到精準，而且過度使用人眼會產生認知負擔。比如在一個用注視點控制光標繪畫的demo中，可以明顯看到眼球輸入的筆跡是抖動的，不能很準確的控制光標。

換句話說，現階段眼球輸入并不能達到鼠標點擊的精準性和靈敏性，因此在交互設計上，不適合直接借鑒鼠標移動光標的方式。更重要的是，相比于手動操控鼠標，用頻繁轉動眼球移動光標也會對視力損耗不小。

2. 硬件的改善優化

為了優化眼球交互/輸入，蘋果從硬件、UI、交互方式等多方面都做出了努力。

硬件方面，AVP的眼球追蹤模組（IR相機、LED光源）位于透鏡之下，可以更好更全面的捕捉人眼的動作。而Quest Pro則不同，它的IR相機和LED位于透鏡外側，更靠近人眼。

3. 系統和軟件的優化

在近眼顯示設備中，眼舒適是個永恒的話題，無論是否融合眼球追蹤技術，關于顯示也同樣如此。

而基于眼球追蹤的交互必然會造成眼疲勞，這點毋庸置疑。實際上蘋果在WWDC23/10078公開課中也明確這一點，同時還提到：需要在系統和軟件層面提供“合適的設計”，讓眼睛得到休息也是交互中重要的一點。

其中有幾個核心設計技巧：

1，視覺中心應該中心，且略靠下位置（也就是視軸方向）；

2，眼睛轉動優先左右移動，而不是上下或斜向轉動；

其中，還明確提到如果眼睛大范圍轉動是必要交互，也應盡可能減少眼睛大范圍的轉動，并且考慮讓眼睛能夠持續交互過程中有片刻休息的“自然斷點”，而不是通過給予持續的UI反饋持續吸引眼球。

作為眼球注視+手勢的融合交互帶來的好處也很明顯，就是非常直接，從多位現場體驗的媒體來看也的確如此，普遍好評。

為進一步提升注視點預測的準確性，蘋果還為Vision Pro搭配了精心設計的UI，可以很好的配合現有的眼球追蹤技術，較為準確的識別、過濾用戶意圖。比如，將可交互的元素設計的比較大，并盡量采用圓潤的圖形，來增加注視點可停留的區域，從而很好的輔助眼球追蹤功能。

目前還不確定Vision Pro是否會從算法上過濾眼球運動數據的噪點（無意識的錯誤運動），不過對于患有眼球震顫等視力問題的患者，該頭顯還會提供其他輔助（無需眼球注視）的交互方式。而現階段，Quest Pro似乎還未提供類似的設計（當然它有手柄），一位眼球震顫患者表示：由于眼球運動頻繁，Quest Pro并不能準確識別注視點意圖。

4. 側重識別用戶意圖

視覺是生活中最重要、最常用的人體功能之一，當你看真實世界時，可能會不斷轉動眼球，由于我們已經足夠熟悉這種交互，很多時候眼球運動都是無意識的。而在注視點追蹤系統中，當你主動控制眼球運動，可能容易產生視覺疲勞。

為了讓XR頭顯的眼球交互能像現實生活中一樣自然，蘋果更側重于識別用戶的注視意圖，而不是鼓勵用戶看向特定的位置。

目前基于鍵鼠的PC交互實際也結合了注視動作，當你在2D屏幕做選擇時首先會不自覺看向目標位置。因此，只要Vision Pro準確、快速的追蹤用戶的注視意圖，理論上就可以很好的較快輸入效率，而不需要用戶有意識轉動眼球選擇。

另一方面，針對手部不靈活的用戶，Vision Pro也可以只通過眼球動作來輔助交互，比如持續凝視一個位置等。Bart指出，有大量研究和demo顯示，主動眼球交互在部分情況下可以做到足夠舒適（比如停留、追隨移動目標、特定動作姿態等）。

而在2017年時，一家叫Quantum Interface的公司曾展示了一種有趣的頭部交互方式，特點是基于頭部追蹤，你可以通過移動頭部來瞄準，或甩頭展開選項。同理，眼球輸入也可以使用一些簡單的姿態，比如反復掃視一個區域。

為了避免第三方App讀取注視點等生物信息，只有在手勢確認時將注視點信息識別為交互操作，而手勢追蹤是一種系統級功能，因此第三方App不能直接讀取用戶實時的注視點方向，避免開發者濫用眼球數據來設計交互。

也就是說，Vision Pro的眼球追蹤功能主要用于系統交互和優化，比如根據注視點信息可監控人眼行為，預測大腦生物反饋，并在此基礎上可進一步優化UI等等。

Bart表示：我認為，蘋果在眼球交互上有很深刻的思考，Vision Pro采用了一種自然、簡約的眼球交互設計，相信在足夠的硬件和軟件支持下，能夠為用戶在下意識進行輸入，而不需要主動付出額外努力。

關鍵詞：