自人類發(fā)明了工具以來(lái)，與工具之間就需要通過(guò)一種方式建立起聯(lián)系，用手握住工具的把手就是聯(lián)系的一種。進(jìn)入電子科技時(shí)代，交互的重要性愈加凸顯，就好像遙控器之于空調(diào)、鍵盤(pán)鼠標(biāo)之于電腦、游戲手柄之于電視游戲等等，缺少了一個(gè)簡(jiǎn)單有效的交互，工具對(duì)于人類也就失去了意義。

隨著虛擬現(xiàn)實(shí)的崛起，如何尋找到合適的交互技術(shù)也成為了從業(yè)者們研究的重中之重。

一、我們?yōu)槭裁葱枰獮閂R需要找一個(gè)新的交互形式？

與其他科技產(chǎn)品不同，VR體驗(yàn)強(qiáng)調(diào)的是沉浸感，而沉浸感的來(lái)源又是與外界的隔絕而造就的，尤其是視覺(jué)和聽(tīng)覺(jué)的隔絕，使得大腦被欺騙，產(chǎn)生脫離于現(xiàn)實(shí)世界的虛擬沉浸感。這就產(chǎn)生了新的問(wèn)題：看不見(jiàn)自己的身體，尤其是人類交互感知最重要的手和運(yùn)動(dòng)最重要的腳，無(wú)法與虛擬環(huán)境產(chǎn)生交互，在虛擬的世界里變成了一個(gè)看客。

在虛擬現(xiàn)實(shí)興起之初，用戶在新鮮感爆棚的情況下，追求的重點(diǎn)在VR是否能夠營(yíng)造出沉浸感十足的情境，對(duì)于交互的需求相對(duì)并沒(méi)有那么強(qiáng)烈。人類的主觀能動(dòng)性作祟，于是希望去操縱、控制虛擬世界，以尋找到更多的存在感。隨著行業(yè)的不斷發(fā)展，VR對(duì)于用戶新鮮感的下降，用戶開(kāi)始將尋找虛擬世界存在感的需求放在了首位，開(kāi)始追求更深層次的沉浸，希望與虛擬現(xiàn)實(shí)世界產(chǎn)生互動(dòng)。

非常不湊巧的是，大廠優(yōu)先追求的是輸出設(shè)備的高技術(shù)含量，在頭顯這一塊投入的技術(shù)與精力更多。在交互這一塊的研發(fā)相對(duì)滯后，就導(dǎo)致了交互手段缺失情況的出現(xiàn)，比如Oculus Rift只能選擇XBox手柄湊數(shù)。

通過(guò)傳統(tǒng)電子設(shè)備的交互方式，比如手柄一類的產(chǎn)品，暫時(shí)解決交互了的問(wèn)題，卻又使得用戶從虛擬世界中被帶出，沉浸感大打折扣。舉個(gè)例子，成熟度相對(duì)較高的三星Gear VR頭顯在視覺(jué)方面的體驗(yàn)不錯(cuò)，但操控方式是配置于頭顯右側(cè)的觸摸板，這意味著用戶需要時(shí)刻舉起右手來(lái)操作，這無(wú)形中就破壞了沉浸感受。

在二維屏幕交互中，幾乎所有控制命令都可以抽象為按鍵動(dòng)作。但在虛擬現(xiàn)實(shí)中，用戶希望自然交互，也就是人類在現(xiàn)實(shí)世界里怎么跟外界交互，在虛擬世界里我們也希望按照同樣的方式交互，沉浸感更高，效率高，學(xué)習(xí)成本低。

于是，尋找一種全新的、合適的虛擬現(xiàn)實(shí)交互形式就成為了一件非常有必要的事情。

二、為什么手部動(dòng)作識(shí)別在已知的交互形式中最受歡迎？

到目前為止，VR領(lǐng)域目前還沒(méi)有一個(gè)成熟的具有普適性的操控交互手段。小編大概列舉了目前業(yè)界理論上比較主張的幾種交互形式：用“眼球追蹤”實(shí)現(xiàn)交互、用“動(dòng)作捕捉”實(shí)現(xiàn)交互、用“肌電模擬”實(shí)現(xiàn)交互、用“觸覺(jué)反饋”實(shí)現(xiàn)交互、用“語(yǔ)音”實(shí)現(xiàn)交互、用“手勢(shì)跟蹤”實(shí)現(xiàn)交互、用“傳感器”實(shí)現(xiàn)交互等等。

這些交互形式到目前為止，雖然各自有各自的優(yōu)點(diǎn)，但也都存在一定的缺陷。比如眼球追蹤，盡管眾多公司都在研究眼球追蹤技術(shù)，但幾乎沒(méi)有一家的解決方案令人滿意，都無(wú)法提供精準(zhǔn)和實(shí)時(shí)的反饋?；蛉鐒?dòng)作捕捉，市面上的動(dòng)作捕捉設(shè)備只會(huì)在特定超重度的場(chǎng)景中使用，而且需要用戶花費(fèi)比較長(zhǎng)的時(shí)間穿戴和校準(zhǔn)才能夠使用，而且這種方式的一大痛點(diǎn)是沒(méi)有反饋，用戶很難感覺(jué)到自己的操作是有效的。

又如觸覺(jué)反饋，它無(wú)法適應(yīng)更加廣泛的應(yīng)用場(chǎng)景，雖然目前三大VR頭顯廠商O(píng)culus、索尼、HTC Vive都不約而同的采用了虛擬現(xiàn)實(shí)手柄作為標(biāo)準(zhǔn)的交互模式，但這只是針對(duì)一些高度特化的游戲類應(yīng)用或輕度的消費(fèi)應(yīng)用，不過(guò)是商家退而求其次的一種妥協(xié)策略，因?yàn)閂R頭顯的早期消費(fèi)者基本是游戲玩家。再比如語(yǔ)音交互，首先機(jī)器對(duì)于人類語(yǔ)言的理解就是一大問(wèn)題，簡(jiǎn)單的語(yǔ)音還好，復(fù)雜的就不行了，而理解之后機(jī)器對(duì)指令能否準(zhǔn)確執(zhí)行又是一大問(wèn)題。

對(duì)于人類來(lái)說(shuō)，最自然最有效的的交互方式有兩個(gè)當(dāng)屬動(dòng)作莫屬了，因?yàn)榧幢阏Z(yǔ)言不通，你仍然可以通過(guò)動(dòng)作的比劃與他人進(jìn)行溝通。放在VR里面來(lái)說(shuō)，肢體和手勢(shì)動(dòng)作可以用于大部分交互場(chǎng)景，尤其是輕度交互的固定場(chǎng)景還是對(duì)于重度交互的移動(dòng)場(chǎng)景，手勢(shì)的優(yōu)勢(shì)都非常突出。

于是，手部動(dòng)作識(shí)別在已知的交互形式中成為最受歡迎形式。

三、手部動(dòng)作識(shí)別是不是只有3D手勢(shì)識(shí)別嗎？

說(shuō)起手部動(dòng)作識(shí)別，大家耳熟能詳?shù)膽?yīng)該就是Leap Motion這家公司了。但實(shí)際上，手部動(dòng)作識(shí)別的解決方案并不是只有Leap Motion一家公司有，技術(shù)原理上也并不是只有這一個(gè)方向。只不過(guò)因?yàn)镺culus的對(duì)Leap Motion的大力支持，伴隨著Oculus Rift的高曝光率，使得Leap Motion的3D手勢(shì)識(shí)別被公眾所熟知。

3D手勢(shì)識(shí)別并不是VR交互領(lǐng)域手部動(dòng)作識(shí)別方案的唯一，其實(shí)可以分為二維手型識(shí)別、二維手勢(shì)識(shí)別、三維手勢(shì)識(shí)別三種。

二維手型識(shí)別

二維手型識(shí)別，也可稱為靜態(tài)二維手勢(shì)識(shí)別，識(shí)別的是手勢(shì)中最簡(jiǎn)單的一類。這種技術(shù)在獲取二維信息輸入之后，可以識(shí)別幾個(gè)靜態(tài)的手勢(shì)，比如握拳或者五指張開(kāi)。其代表公司是一年前被Google收購(gòu)的Flutter。在使用了他家的軟件之后，用戶可以用幾個(gè)手型來(lái)控制播放器。

“靜態(tài)”是這種二維手勢(shì)識(shí)別技術(shù)的重要特征，這種技術(shù)只能識(shí)別手勢(shì)的“狀態(tài)”，而不能感知手勢(shì)的“持續(xù)變化”。舉個(gè)例子來(lái)說(shuō)，如果將這種技術(shù)用在猜拳上的話，它可以識(shí)別出石頭、剪刀和布的手勢(shì)狀態(tài)。但是對(duì)除此之外的手勢(shì)，它就一無(wú)所知了。所以這種技術(shù)說(shuō)到底是一種模式匹配技術(shù)，通過(guò)計(jì)算機(jī)視覺(jué)算法分析圖像，和預(yù)設(shè)的圖像模式進(jìn)行比對(duì)，從而理解這種手勢(shì)的含義。

這種技術(shù)的不足之處顯而易見(jiàn)：只可以識(shí)別預(yù)設(shè)好的狀態(tài)，拓展性差，控制感很弱，用戶只能實(shí)現(xiàn)最基礎(chǔ)的人機(jī)交互功能。

二維手勢(shì)識(shí)別

二維手勢(shì)識(shí)別，比起二維手型識(shí)別來(lái)說(shuō)稍難一些，但仍然基本不含深度信息，停留在二維的層面上。這種技術(shù)不僅可以識(shí)別手型，還可以識(shí)別一些簡(jiǎn)單的二維手勢(shì)動(dòng)作，比如對(duì)著攝像頭揮揮手。其代表公司是來(lái)自以色列的PointGrab，EyeSight和ExtremeReality。

二維手勢(shì)識(shí)別擁有了動(dòng)態(tài)的特征，可以追蹤手勢(shì)的運(yùn)動(dòng)，進(jìn)而識(shí)別將手勢(shì)和手部運(yùn)動(dòng)結(jié)合在一起的復(fù)雜動(dòng)作。這樣一來(lái)，我們就把手勢(shì)識(shí)別的范圍真正拓展到二維平面了。我們不僅可以通過(guò)手勢(shì)來(lái)控制計(jì)算機(jī)播放/暫停，我們還可以實(shí)現(xiàn)前進(jìn)/后退/向上翻頁(yè)/向下滾動(dòng)這些需求二維坐標(biāo)變更信息的復(fù)雜操作了。

這種技術(shù)雖然在硬件要求上和二維手型識(shí)別并無(wú)區(qū)別，但是得益于更加先進(jìn)的計(jì)算機(jī)視覺(jué)算法，可以獲得更加豐富的人機(jī)交互內(nèi)容。在使用體驗(yàn)上也提高了一個(gè)檔次，從純粹的狀態(tài)控制，變成了比較豐富的平面控制。

三維手勢(shì)識(shí)別

三維手勢(shì)識(shí)別需要的輸入是包含有深度的信息，可以識(shí)別各種手型、手勢(shì)和動(dòng)作。相比于前兩種二維手勢(shì)識(shí)別技術(shù)，三維手勢(shì)識(shí)別不能再只使用單個(gè)普通攝像頭，因?yàn)閱蝹€(gè)普通攝像頭無(wú)法提供深度信息。要得到深度信息需要特別的硬件，目前世界上主要有3種硬件實(shí)現(xiàn)方式，加上新的先進(jìn)的計(jì)算機(jī)視覺(jué)軟件算法就可以實(shí)現(xiàn)三維手勢(shì)識(shí)別了。

1.結(jié)構(gòu)光(Structure Light)

結(jié)構(gòu)光的代表應(yīng)用產(chǎn)品就是PrimeSense的Kinect一代了。

這種技術(shù)的基本原理是，加載一個(gè)激光投射器，在激光投射器外面放一個(gè)刻有特定圖樣的光柵，激光通過(guò)光柵進(jìn)行投射成像時(shí)會(huì)發(fā)生折射，從而使得激光最終在物體表面上的落點(diǎn)產(chǎn)生位移。

當(dāng)物體距離激光投射器比較近的時(shí)候，折射而產(chǎn)生的位移就較小;當(dāng)物體距離較遠(yuǎn)時(shí)，折射而產(chǎn)生的位移也就會(huì)相應(yīng)的變大。這時(shí)使用一個(gè)攝像頭來(lái)檢測(cè)采集投射到物體表面上的圖樣，通過(guò)圖樣的位移變化，就能用算法計(jì)算出物體的位置和深度信息，進(jìn)而復(fù)原整個(gè)三維空間。

以Kinect一代的結(jié)構(gòu)光技術(shù)來(lái)說(shuō)，因?yàn)橐蕾囉诩す庹凵浜螽a(chǎn)生的落點(diǎn)位移，所以在太近的距離上，折射導(dǎo)致的位移尚不明顯，使用該技術(shù)就不能太精確的計(jì)算出深度信息，所以1米到4米是其最佳應(yīng)用范圍。

2. 光飛時(shí)間(Time of Flight)

光飛時(shí)間是SoftKinetic公司所采用的技術(shù)，該公司為Intel提供帶手勢(shì)識(shí)別功能的三維攝像頭。同時(shí)，這一硬件技術(shù)也是微軟新一代Kinect所使用的。

這種技術(shù)的基本原理是加載一個(gè)發(fā)光元件，發(fā)光元件發(fā)出的光子在碰到物體表面后會(huì)反射回來(lái)。使用一個(gè)特別的CMOS傳感器來(lái)捕捉這些由發(fā)光元件發(fā)出、又從物體表面反射回來(lái)的光子，就能得到光子的飛行時(shí)間。根據(jù)光子飛行時(shí)間進(jìn)而可以推算出光子飛行的距離，也就得到了物體的深度信息。就計(jì)算上而言，光飛時(shí)間是三維手勢(shì)識(shí)別中最簡(jiǎn)單的，不需要任何計(jì)算機(jī)視覺(jué)方面的計(jì)算。

3. 多角成像(Multi-camera)

多角成像這一技術(shù)的代表產(chǎn)品是Leap Motion公司的同名產(chǎn)品和Usens公司的Fingo。

這種技術(shù)的基本原理是使用兩個(gè)或者兩個(gè)以上的攝像頭同時(shí)攝取圖像，就好像是人類用雙眼、昆蟲(chóng)用多目復(fù)眼來(lái)觀察世界，通過(guò)比對(duì)這些不同攝像頭在同一時(shí)刻獲得的圖像的差別，使用算法來(lái)計(jì)算深度信息，從而多角三維成像。

在這里我們以兩個(gè)攝像頭成像來(lái)簡(jiǎn)單解釋一下：

雙攝像頭測(cè)距是根據(jù)幾何原理來(lái)計(jì)算深度信息的。使用兩臺(tái)攝像機(jī)對(duì)當(dāng)前環(huán)境進(jìn)行拍攝，得到兩幅針對(duì)同一環(huán)境的不同視角照片，實(shí)際上就是模擬了人眼工作的原理。因?yàn)閮膳_(tái)攝像機(jī)的各項(xiàng)參數(shù)以及它們之間相對(duì)位置的關(guān)系是已知的，只要找出相同物體(楓葉)在不同畫(huà)面中的位置，我們就能通過(guò)算法計(jì)算出這個(gè)物體(楓葉)距離攝像頭的深度了。

多角成像是三維手勢(shì)識(shí)別技術(shù)中硬件要求最低，但同時(shí)是最難實(shí)現(xiàn)的。多角成像不需要任何額外的特殊設(shè)備，完全依賴于計(jì)算機(jī)視覺(jué)算法來(lái)匹配兩張圖片里的相同目標(biāo)。相比于結(jié)構(gòu)光或者光飛時(shí)間這兩種技術(shù)成本高、功耗大的缺點(diǎn)，多角成像能提供“價(jià)廉物美”的三維手勢(shì)識(shí)別效果。

四、殺雞不用牛刀，VR中的交互到底應(yīng)該如何抉擇?

輕度交互

移動(dòng)端VR設(shè)備一般無(wú)法運(yùn)行重度體驗(yàn)的VR內(nèi)容，對(duì)于交互的需求基本保留在輕量級(jí)別。3D的手勢(shì)識(shí)別用在輕度VR交互上實(shí)際有點(diǎn)殺雞用牛刀的感覺(jué)，絕大部分人日常接觸最多的就是2D觸摸屏，而大部分UI也是2D設(shè)計(jì)，3D手勢(shì)識(shí)別加入的深度信息對(duì)于大部分人來(lái)說(shuō)太超前，而且大部分人臂展不超過(guò)1米，深度信息在這里沒(méi)法體現(xiàn)出相對(duì)2D平面的不同。

所以，一個(gè)普通單攝像頭通過(guò)邊緣識(shí)別的簡(jiǎn)單手勢(shì)交互系統(tǒng)能滿足目前大部分VR場(chǎng)景的交互需求，降低手勢(shì)交互的門(mén)檻，從而快速普及手勢(shì)交互概念，如果還能夠配合語(yǔ)音交互功能，就能快速滿足短期內(nèi)VR應(yīng)用的交互需求。

重度交互

PC端VR設(shè)備，成本高技術(shù)含量高，能夠運(yùn)行重度體驗(yàn)的VR內(nèi)容，因而對(duì)于交互的需求也是重量級(jí)別。3D的手勢(shì)識(shí)別用在重度VR交互上才是真正的好鋼用到了刀刃上，能夠滿足用戶的重度交互需求，還能夠提供較好的反饋和沉浸感。用戶置身的三維場(chǎng)景中，要跟三維場(chǎng)景里面的物品進(jìn)行交互，沒(méi)有深度信息是不可能做到的。

現(xiàn)在Oculus和HTC Vive其實(shí)都采用的是手柄的解決方案，但是3D的手勢(shì)交互其實(shí)是一種更自然、更舒服的方式。對(duì)于復(fù)雜的3D場(chǎng)景，3D的手勢(shì)交互是不可缺少的，而且更加真實(shí)和沉浸式的3D場(chǎng)景體驗(yàn)，才是VR內(nèi)容的未來(lái)。而在重度VR體驗(yàn)內(nèi)容中，空間的深度信息更為復(fù)雜，應(yīng)用場(chǎng)景的變化也更加多樣化，只有3D的手勢(shì)識(shí)別能夠較好的滿足精度、延遲和沉浸的要求。

至于未來(lái)如何發(fā)展，歷史總是由人民書(shū)寫(xiě)的，消費(fèi)者的選擇才是技術(shù)方向的選擇。

手勢(shì)識(shí)別概念股：中茵股份、華平股份、通富微電、蘇州固锝、士蘭微。