增強現實

增強現實

增強現實技術(Augmented Reality,簡稱 AR),是一種實時地計算攝影機影像的位置及角度並加上相應圖像、視頻、3D模型的技術,這種技術的目標是在屏幕上把虛擬世界套在現實世界並進行互動。這種技術1990年提出。隨著隨身電子產品CPU運算能力的提升,預期增強現實的用途將會越來越廣。

技術原理


增強現實(Augmented Reality,簡稱AR),也被稱為擴增現實(中國台灣地區)。
增強現實
增強現實
增強現實技術,它是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術,是把原本在現實世界的一定時間空間範圍內很難體驗到的實體信息(視覺信息,聲音,味道,觸覺等),通過電腦等科學技術,模擬模擬后再疊加,將虛擬的信息應用到真實世界,被人類感官所感知,從而達到超越現實的感官體驗。真實的環境和虛擬的物體實時地疊加到了同一個畫面或空間同時存在。
增強現實技術,不僅展現了真實世界的信息,而且將虛擬的信息同時顯示出來,兩種信息相互補充、疊加。在視覺化的增強現實中,用戶利用頭盔顯示器,把真實世界與電腦圖形多重合成在一起,便可以看到真實的世界圍繞著它。
增強現實技術包含了多媒體、三維建模、實時視頻顯示及控制、多感測器融合、實時跟蹤及註冊、場景融合等新技術與新手段。增強現實提供了在一般情況下,不同於人類可以感知的信息。

主要特點


AR系統具有三個突出的特點:①真實世界和虛擬的信息集成;②具有實時交互性;③是在三維尺度空間中增添定位虛擬物體。AR技術可廣泛應用於多等領域。

組成形式


一個完整的增強現實系統是由一組緊密聯結、實時工作的硬體部件與相關的軟體系統協同實現的,常用的有如下三種組成形式。
Monitor-Based
在基於計算機顯示器的AR實現方案中,攝像機攝取的真實世界圖像輸入到計算機中,與計算機圖形系統產生的虛擬景象合成,並輸出到屏幕顯示器。用戶從屏幕上看到最終的增強場景圖片。它雖然簡單,但不能帶給用戶多少沉浸感。Monitor-Based增強現實系統實現方案如下圖所示。
光學透視式
頭盔式顯示器(Head-mounted displays,簡稱HMD)被廣泛應用於虛擬現實系統中,用以增強用戶的視覺沉浸感。增強現實技術的研究者們也採用了類似的顯示技術,這就是在AR中廣泛應用的穿透式HMD。根據具體實現原理又劃分為兩大類,分別是基於光學原理的穿透式HMD(Optical See-through HMD)和基於視頻合成技術的穿透式HMD(Video See-through HMD)。光學透視式增強現實系統實現方案如下圖所示。
增強現實
增強現實
光學透視式增強現實系統具有簡單、解析度高、沒有視覺偏差等優點,但它同時也存在著定位精度要求高、延遲匹配難、視野相對較窄和價格高等不足。
視頻透視式
視頻透視式增強現實系統採用的基於視頻合成技術的穿透式HMD(Video See-through HMD),實現方案如圖5所示。
增強現實
增強現實
增強現實
增強現實

應用領域


AR技術不僅在與VR技術相類似的應用領域,諸如尖端武器、飛行器的研製與開發、數據模型的可視化、虛擬訓練、娛樂與藝術等領域具有廣泛的應用,而且由於其具有能夠對真實環境進行增強顯示輸出的特性,在醫療研究與解剖訓練、精密儀器製造和維修、軍用飛機導航、工程設計和遠程機器人控制等領域,具有比VR技術更加明顯的優勢。
增強現實
增強現實
醫療領域:醫生可以利用增強現實技術,輕易地進行手術部位的精確定位。
軍事領域:部隊可以利用增強現實技術,進行方位的識別,獲得實時所在地點的地理數據等重要軍事數據。
古迹復原和數字化文化遺產保護:文化古迹的信息以增強現實的方式提供給參觀者,用戶不僅可以通過HMD看到古迹的文字解說,還能看到遺址上殘缺部分的虛擬重構。
工業維修領域:通過頭盔式顯示器將多種輔助信息顯示給用戶,包括虛擬儀錶的面板、被維修設備的內部結構、被維修設備零件圖等。
*網路視頻通訊領域:該系統使用增強現實和人臉跟蹤技術,在通話的同時在通話者的面部實時疊加一些如帽子、眼鏡等虛擬物體,在很大程度上提高了視頻對話的趣味性。
電視轉播領域:通過增強現實技術可以在轉播體育比賽的時候實時地將輔助信息疊加到畫面中,使得觀眾可以得到更多的信息。
娛樂、遊戲領域:增強現實遊戲可以讓位於全球不同地點的玩家,共同進入一個真實的自然場景,以虛擬替身的形式,進行網路對戰。
旅遊、展覽領域:人們在瀏覽、參觀的同時,通過增強現實技術將接收到途經建築的相關資料,觀看展品的相關數據資料。
市政建設規劃:採用增強現實技術將規劃效果疊加在真實場景中以直接獲得規劃的效果。
國內比較權威的增強現實學者是北京理工大學光電工程系的王涌天教授
國內首次將這項技術應用到普通生活中,是在蘋果的AppStore上發布的一款免費的叫作出行百科(增強現實版)XINGWIKI的軟體。
記事帖,人們希望將來可以很方便地在不同地點獲得同樣的媒體和信息,並且是跨越不同的設備上獲得-從PC到手機,從投影儀到頭戴式顯示器。怎樣能為用戶提供一致的和方便易行的方式來讓他們和對他們而言很重要的信息和媒體進行交互,看以下的圖你就明白了,你所能操作的界面已經不再是那一塊小小的電腦屏幕了,而是延伸到了更大的空間里,並且可以依據人們最為簡便的方式隨意的記錄下你某一時刻突然迸發出的靈感。
水利水電勘察設計:在水利水電勘察設計領域,三維協同設計穩步發展,可能會在不遠的將來取代傳統的二維設計,AR技術在設計領域的應用為水利水電三維模型的應用提供了更好的展示手段,使得三維模型與二維的設計、施工圖紙能更加緊密地結合起來。AR技術在勘察設計領域中可以有效地應用於實時方案比較、設計元素編輯、三維空間綜合信息整合、輔助決策和設計方案多方參與等方面。

發展歷史


增強現實顯示器,將計算機生成的圖形疊加到真實世界中。自從二十世紀七十年代早期,Pong進入電子遊戲廳以來,視頻遊戲走進我們的生活已經有30多年了,但是一直局限在屏幕中的2D世界中,而增強現實這一新技術的到來,將通過增強我們的見、聲、聞、觸和聽,進一步模糊真實世界與計算機所生成的虛擬世界之間的界線。
增強現實
增強現實
從虛擬現實(創建身臨其境的、計算機生成的環境)和真實世界之間的光譜來看,增強現實更接近真實世界。增強現實將圖像、聲音、觸覺和氣味按其存在形式添加到自然世界中。由此可以預見視頻遊戲會推動增強現實的發展,但是這項技術將不僅僅局限於此,而會有無數種應用。從旅行團到軍隊的每個人都可以通過此技術將計算機生成的圖像放在其視野之內,並從中獲益。
增強現實將真正改變我們觀察世界的方式。想像您自己行走在或者驅車行駛在路上。通過增強現實顯示器(最終看起來像一副普通的眼鏡),信息化圖像將出現在您的視野之內,並且所播放的聲音將與您所看到的景象保持同步。這些增強信息將隨時更新,以反映當時大腦的活動。在這篇文章中,我們將了解這項未來技術、其技術構成以及如何使用該技術。
微軟公司於2015年1月22日發布的HoloLens 全息眼鏡。
AR技術的起源,可追溯到Morton Heilig在20世紀五、六十年代所發明的Sensorama Stimulator。他是一名電影製作人兼發明家。他利用他的多年的電影拍攝經驗設計出了叫Sensorama Stimulator的機器。SensoramaStimulator同時使用了圖像、聲音、香味和震動,讓人們感受在紐約的布魯克林街道上騎著摩托車風馳電掣的場景。這個發明在當時非常超前。以此為契機,AR也展開了它的發展史。 
由於AR技術的顛覆性和革命性,AR技術獲得了大量關注。早在20世紀90年代,就有3D遊戲上市,但由於當時的AR技術價格較高,其自身延遲較長,設備計算能力有限等缺陷,導致這些AR遊戲產品以失敗收尾,第一次AR熱潮就此消退。到了2014年,Facebook以20億美元收購Oculus后,類似的AR熱再次襲來。在2015和2016兩年間,AR領域共進行了225筆風險投資,投資額達到了35億美元,原有的領域擴展到多個新領域,如城市規劃、虛擬模擬教學、手術診療、文化遺產保護等。如今,AR、VR等沉浸式技術正在快速發展,一定程度上改變了消費者、企業與數字世界的互動方式。用戶期望更大程度上從2D轉移到沉浸感更強的3D,從3D獲得新的體驗,包括商業、體驗店、機器人、虛擬助理、區域規劃、監控等,人們從只使用語言功能升級到包含視覺在內的全方位體驗。而在這個發展過程中,AR將超越VR,更能滿足用戶的需求。

工作原理


移動式增強現實系統的早期原型增強現實的基本理念是將圖像、聲音和其他感官增強功能實時添加到真實世界的環境中。聽起來十分簡單。而且,電視網路通過使用圖像實現上述目的不是已經有數十年的歷史了嗎?的確是這樣,但是電視網路所做的只是顯示不能隨著攝像機移動而進行調整的靜態圖像。增強現實遠比您在電視廣播中見到的任何技術都要先進,儘管增強現實的早期版本一開始是出現在通過電視播放的比賽和橄欖球比賽中,例如Racef/x和添加的第一次進攻線,它們都是由SporTVision創造的。這些系統只能顯示從一個視角所能看到的圖像。下一代增強現實系統將顯示能從所有觀看者的視角看到的圖像。
在各類大學和高新技術企業中,增強現實還處於研發的初級階段。最終,可能到這個十年結束的時候,我們將看到第一批大量投放市場的增強現實系統。一個研究者將其稱為“21世紀的隨身聽”。增強現實要努力實現的不僅是將圖像實時添加到真實的環境中,而且還要更改這些圖像以適應用戶的頭部及眼睛的轉動,以便圖像始終在用戶視角範圍內。下面是使增強現實系統正常工作所需的三個組件:
1.頭戴式顯示器
2.跟蹤系統
3.移動計算能力
增強現實的開發人員的目標是將這三個組件集成到一個單元中,放置在用帶子綁定的設備中,該設備能以無線方式將信息轉播到類似於普通眼鏡的顯示器上。讓我們分別來了解這個系統中的每個組件。
AR的三大技術要點:三維註冊(跟蹤註冊技術)、虛擬現實融合顯示、人機交互。其流程是首先通過攝像頭和感測器將真實場景進行數據採集,並傳入處理器對其進行分析和重構,再通過AR頭顯或智能移動設備上的攝像頭、陀螺儀、感測器等配件實時更新用戶在現實環境中的空間位置變化數據,從而得出虛擬場景和真實場景的相對位置,實現坐標系的對齊並進行虛擬場景與現實場景的融合計算,最後將其合成影像呈現給用戶。用戶可通過AR頭顯或智能移動設備上的交互配件,如話筒、眼動追蹤器、紅外感應器、攝像頭、感測器等設備採集控制信號,並進行相應的人機交互及信息更新,實現增強現實的交互操作。其中,三維註冊是AR技術之核心,即以現實場景中二維或三維物體為標識物,將虛擬信息與現實場景信息進行對位匹配,即虛擬物體的位置、大小、運動路徑等與現實環境必須完美匹配,達到虛實相生的地步。

工具與難點


現在已經有多種用於AR系統開發的工具包和API(application programming interface),如 ARToolKit 、Coin3D 和 MR Platform等,其中 ARTookit是一套開放源代碼的工具包,它主要由日本大阪大學的Hirokazu博士開發,用於快速編寫AR應用。ARTookit 受到了華盛頓大學人機界面實驗室和紐西蘭坎特伯雷大學人機界面實驗室支持,已成為在 AR領域使用最廣泛的開發包。許多AR的應用都使用ARTookit 或在其基礎上改進的版本來進行開發的。ARToolkit 採用基於標記的視頻檢測方法進行定位,其工具包中包含了攝像頭校準和標記製作的工具,它支持將 Direct3D 、OpenGL 圖形和 vrml 場景合併到視頻流中(如圖所示),同時支持顯示器和 S-HMD等多種顯示設備。MR Platform 由日本的混合實境實驗室開發 ,其中包含了一個能減少人眼與頭盔上攝像機之間平行度誤差的方法 S-HMD 和一個運行於 Linux 環境下的用C++語言開發的軟體開發工具包(SDK)。這個工具包中提供了攝像機校正工具、視頻捕捉、圖像檢測和操縱6自由度感測器等開發 AR 應用的基本功能。
增強現實
增強現實
雖然經過了十幾年的研究,開發了以上的許多種工具包,但是幾乎所有 AR 系統仍然處於實驗室內使用,研究者已經開始考慮 AR在實用中面臨的一些基本問題,主要有以下幾個方面:
(1)景物的生成與顯示
幾乎所有的 S-HMD 設備在明亮的環境下,其顯示的效果都比較暗,另外,由於頭戴式顯示器上的攝像機的攝像角度與眼睛的位置存在偏差,因此虛擬物體的定位在真實視場中的定位和顯示角度也會存在偏差且很難調整。
(2)定位錯誤
定位錯誤不可避免,民用 GPS 一般精度在 3m到12m 左右,在較差的天氣中,最大誤差可達 100m 。電子羅盤也會因為附近的磁場干擾產生誤差。由於現有許多戶外的系統中的校正演演算法需要大量的輸入和繁瑣的校正步驟,因此不適合商業化應用。
(3)通訊設備
多數系統都假設在帶寬滿足的情況下進行操作,但實際情況並非如此,在絕大多數分散式 AR 應用中,系統能力都要受制於數據傳送的速度。因此在大型協作 AR 系統中,還有賴於通過動態興趣度管理演演算法和動作預測演演算法來降低所需傳輸的數據量。
(4)計算能力
在戶外AR系統中,必須盡量減少客戶端配置,數據處理常由攜帶型計算機,甚至是依靠掌上電腦來處理,因此,如何達到實時性和提高渲染效果是必須面對的一個問題。這也是目前 AR 研究中的熱點之一。

實際應用


這項技術有數百種可能的應用,其中遊戲和娛樂是最顯而易見的應用領域。可以給人們提供即時信息的不需要人們參與任何研究的任何系統,在相當多的領域對所有人都是有價值的。增強現實系統可以立即識別出人們看到的事物,並且檢索和顯示與該景象相關的數據。
維修和建設——增強現實可以將標記器連接到人們正在施工的特定物體上,然後增強現實系統可以在它上面描繪出圖像。
軍事——軍隊數十年來一直在設計使用增強現實,美國海軍研究所已經資助了一些增強現實研究項目。國防先進技術研究計劃署(DARPA)已經投資了HMD項目來開發可以配有攜帶型信息系統的顯示器。其理念在於,增強現實系統可以為軍隊提供關於周邊環境的重要信息,例如顯示建築物另一側的入口,這有點像X射線視覺。增強現實顯示器還能突出顯示軍隊的移動,讓士兵可以轉移到敵人看不到的地方。
即時信息——旅行者和學生可以使用這些系統了解有關特定歷史事件的更多信息。想像行走在美國內戰的戰場上,並且在頭戴式增強現實顯示器上看到重現的歷史事件。它將使您沉浸在歷史事件中,有身臨其境之感,而且視角將是全景的。
隨著AR技術的成熟,AR越來越多地應用於各個行業,如教育、培訓、醫療、設計、廣告等。 
增強現實
增強現實
1、教育
AR以其豐富的互動性為兒童教育產品的開發注入了新的活力,兒童的特點是活潑好動,運用AR技術開發的教育產品更適合孩子們的生理和心理特性。例如,現在市場上隨處可見的AR書籍,對於低齡兒童來說,文字描述過於抽象,文字結合動態立體影像會讓孩子快速掌握新的知識,豐富的交互方式更符合孩子們活潑好動的特性,提高了孩子們的學習積極性。在學齡教育中AR也發揮著越來越多的作用,如一些危險的化學實驗,及深奧難懂的數學、物理原理都可以通過AR使學生快速掌握。 
2、健康醫療
近年來,AR技術也越來越多地被應用於醫學教育、病患分析及臨床治療中,微創手術越來越多地藉助AR及VR技術來減輕病人的痛苦,降低手術成本及風險。此外在醫療教學中,AR與VR的技術應用使深奧難懂的醫學理論變得形象立體、淺顯易懂,大大提高了教學效率和質量。 
3、廣告購物
AR技術可幫助消費者在購物時更直觀地判斷某商品是否適合自己,以作出更滿意的選擇。用戶可以輕鬆地通過該軟體直觀地看到不同的傢具放置在家中的效果,從而方便用戶選擇,該軟體還具有保存並添加到購物車的功能。 
4、展示導覽
AR技術被大量應用於博物館對展品的介紹說明中,該技術通過在展品上疊加虛擬文字、圖片、視頻等信息為遊客提供展品導覽介紹。此外,AR技術還可應用於文物復原展示,即在文物原址或殘缺的文物上通過AR技術將復原部分與殘存部分完美結合,使參觀者了解文物原來的模樣,達到身臨其境的效果。 
5、應用於信息檢索領域
對於用戶需要對某一物品的功能和說明清晰了解時,增強現實技術會根據用戶需要將該物品的相關信息從不同方向匯聚並實時展現在用戶的視野內。在未來,人們可以在通過掃描面部,識別出此人的信用以及部分公開信息,防止上當受騙,這些技術的實現很大程度上減少了受騙幾率,方便用戶快速高效的工作。 
6、應用於工業設計交互領域
增強現實技術最特殊的地方就是在於其高度交互性,應用於工業設計中,主要表現為虛擬交互,通過手勢、點擊等識別來實現交互技術,將虛擬的設備、產品去展示給設計者和用戶前,也可以通過部分控制實現虛擬模擬,模仿裝配情況或日常維護、拆裝等工作,在虛擬中學習,減少了製造浪費以及對人才培訓的成本,大大改善了設計的體制,縮短了設計時間提高效率。

AR遊戲


AR遊戲最早的起源並非手機,而是NDS上的AR遊戲。此類遊戲大多數的玩法都是在桌面上擺放識別卡,識別卡片后通過手機屏幕與識別出來的內容進行交互。
2011年任天堂3DS主機內置的《AR遊戲》是利用攝像頭拍攝AR卡片來遊玩的遊戲,通過利用“AR技術”(虛擬擴展技術),將攝像頭拍攝到的內容以另外一種形式出現在屏幕內。
遊戲——增強現實,由Niantic Lab出品的Ingress與Pokemon GO就都是增強現實類遊戲,中國一家公司開發的產品PP GUN也能通過和增強現實顯示器連接玩槍戰遊戲。

國內現狀


作為新型的人機介面和模擬工具,AR受到的關注日益廣泛,並且已經發揮了重要作用,顯示出了巨大的潛力。
AR是充分發揮創造力的科學技術,為人類的智能擴展提供了強有力的手段,對生產方式和社會生活產生了巨大的深遠的影響。
隨著技術的不斷發展,其內容也勢必將不斷增加。而隨著輸入和輸出設備價格的不斷下降、視頻顯示質量的提高以及功能很強大但易於使用的軟體的實用化,AR的應用必將日益增長。AR技術在人工智慧、CAD、圖形模擬、虛擬通訊、遙感、娛樂、模擬訓練等許多領域帶來了革命性的變化。
總體來講,增強現實在中國處於起步階段,許多虛擬現實領域的企業已經開始專註於“增強現實”的研發和應用。比如中視典數字科技研發的VRP12.0就集成了增強現實的功能。

VR與AR


VR
虛擬現實技術簡稱為VR技術,是一種採用3D交互邏輯的成像技術類別。虛擬現實技術應用時間較短,所以核心結構主要以環境模擬系統、環境感知系統及環境感測系統構成。虛擬現實技術顧名思義,是將使用者帶入預設完成的虛擬空間,通過虛擬空間體驗實現視覺的圖像刺激,從而達到三維成像技術應用的目的。現代虛擬現實技術應用雖然總體較為成熟,但不具備獨立環境預設功能。需要通過與計算機的連接實現對成像內容的控制,並有計算機成為虛擬空間設計,因此虛擬實現技術應用主要起到視覺傳導及視覺信息傳播的實際作用,使圖像信息從二維空間結構向三維空間結構過渡,以此形成完善的圖像處理體系,使使用者達到最佳的圖像觀感體驗。 
比較
VR用戶基數較小,移動性較差,具有隔離的沉浸感,因此主要集中在娛樂用途上。娛樂收入可能會佔據整個行業收入的三分之二,硬體佔比約四分之一。雖然VR也會有企業用途,但是相對於AR和智能眼鏡而言少得多。VR電子商務和廣告收入會增長,但目前用戶群的規模和分散性限制了其發展。 
與VR相比,AR會觸及到更多的人,因為它是對人們日常生活的無縫補充。AR是將計算機生成的虛擬世界疊加在現實世界上,醫藥、教育、工業上的各種實際應用,已經佐證了AR作為工具,對人類的影響更為深遠。而不是像VR那樣在現實世界之外營造出一個完全虛擬的世界。國外分析師也認為“AR”將會成為“更加日常化的移動設備應用的一部分”。同時,移動AR的普及和低成本也有助於企業從採用AR技術,企業AR可以穩定增長,到2021年左右增強現實技術將在製造/資源、TMT、政府(包括軍事)、零售、建築/房地產、醫療保健、教育、交通運輸、金融服務、公用事業方面都得到應用。

關鍵技術


1、跟蹤註冊技術
為了實現虛擬信息和真實場景的無縫疊加,這就要求虛擬信息與真實環境在三維空間位置中進行配准註冊。這包括使用者的空間定位跟蹤和虛擬物體在真實空間中的定位兩個方面的內容。而移動設備攝像頭與虛擬信息的位置需要相對應,這就需要通過跟蹤技術來實現。跟蹤註冊技術首先檢測需要‘增強"的物體特徵點以及輪廓,跟蹤物體特徵點自動生成二維或三維坐標信息。跟蹤註冊技術的好壞直接決定著增強現實系統的成功與否,常用的跟蹤註冊方法有基於跟蹤器的註冊、基於機器視覺跟蹤註冊、基於無線網路的混合跟蹤註冊技術四種。 
2、顯示技術
增強現實技術顯示系統是比較重要的內容,為了能夠得到較為真實的虛擬相結合的系統,使得實際應用便利程度不斷提升,使用色彩較為豐富的顯示器是其重要基礎,在這一基礎上,顯示器包含頭盔顯示器和非頭盔顯示設備等相關內容,透視式頭盔能夠為用戶提供相關的逆序融合在一起的情境,這些系統在具體操作過程中,操作的原理和虛擬現實領域中的沉浸式頭盔等內容之間相似程度比較高級。其和使用者交互的介面及圖像等綜合在一起,使用更加真實有效的環境對其實施應用微型攝像機的形式,拍攝外部環境圖像,使計算機圖像在得到有效處理的時候,可以和虛擬以及真實環境融合在一起,並且兩者之間的圖像也能夠得以疊加。光學透視頭盔顯示器可以在這一基礎上利用安裝在用戶眼前的半透半反光學合成器,充分和真實環境綜合在一起,真實的場景可以在半透鏡的基礎上,為用戶提供支持,並且滿足用戶的相關操作需要。 
3、虛擬物體生成技術
增強現實技術在應用的時候,其目標是使得虛擬世界的相關內容,在真實世界中得到疊加處理,有效在演演算法程序的應用基礎上,促使物體動感操作有效實現。當前虛擬物體的生成是在三維建模技術的基礎上得以實現的,能夠充分體現出虛擬物體的真實感,在對增強現實動感模型研發的過程中,需要能夠全方位和集體化對物體對象展示出來。虛擬物體生成的過程中,自然交互是其中比較重要的技術內容,在具體實施的時候,對現實技術的有效實施有效輔助,使信息註冊更好的實現,利用圖像標記實時監控外部輸入信息內容,使得增強現實信息的操作效率能夠提升,並且用戶在信息處理的時候,可以有效實現信息內容的加工,提取其中有用的信息內容。 
4、交互技術
與在現實生活中不同,增強現實是將虛擬事物在現實中的呈現,而交互就是幫助虛擬事物在現實中更好的呈現做準備,因此想要等到更好的AR體驗,交互就是其中的重中之重。 
AR設備的交互方式主要分為以下三種:
(1)現實世界中的點位選取來進行交互是最為常見的一種交互方式,例如最近流行的AR賀卡和畢業相冊就是通過圖片位置來進行交互的。 
(2)將空間中的一個或多個事物的特定姿勢或者狀態加以判斷,這些姿勢都對應著不同的命令。使用者可以任意改變和使用命令來進行交互,比如用不同的手勢表示不同的指令。 
(3)使用特製工具進行交互。比如谷歌地球,它就是利用類似於滑鼠一樣的東西來進行一系列的操作,從而滿足用戶對於AR互動的要求。 
5、合併技術
增強現實的目標是將虛擬信息與輸入的現實場景無縫結合在一起,為了增加AR使用者的現實體驗,要求AR具有很強真實感,為了達到這個目標不單單隻考慮虛擬事物的定位,還需要考慮虛擬事物與真實事物之間的遮擋關係以及具備四個條件:幾何一致、模型真實、光照一致和色調一致,這四者缺一不可,任何一種的缺失都會導致AR效果的不穩定,從而嚴重影響AR的體驗。