動作捕捉
動作捕捉
動作捕捉是運動物體的關鍵部位設置跟蹤器。意同:運動捕捉英文Motion capture,簡稱Mocap。技術涉及尺寸測量、物理空間里物體的定位及方位測定等方面可以由計算機直接理解處理的數據。
在運動物體的關鍵部位設置跟蹤器,由Motion capture系統捕捉跟蹤器位置,再經過計算機處理后得到三維空間坐標的數據。當數據被計算機識別後,可以應用在動畫製作,步態分析,生物力學,人機工程等領域。
2008年由詹姆斯·卡梅隆導演的電影《阿凡達》全程運用動作捕捉技術完成,實現動作捕捉技術在電影中的完美結合,具有里程碑式的意義。其他運用動作捕捉技術拍攝的著名電影角色還有《猩球崛起》中的猩猩之王凱撒,以及動畫《指環王》系列中的古魯姆,都為動作捕捉大師安迪·瑟金斯飾演。
2014年8月14日,由夢工廠製作的全息動作捕捉動畫電影《馴龍高手2》在中國大陸上映。
常用的運動捕捉技術從原理上說可分為機械式、聲學式、電磁式、主動光學式和被動光學式。不同原理的設備各有其優缺點,一般可從以下幾個方面進行評價:定位精度;實時性;使用方便程度;可捕捉運動範圍大小;抗干擾性;多目標捕捉能力;以及與相應領域專業分析軟體連接程度。此外,還有慣性導航運動捕捉。
隨著計算機軟硬體技術的飛速發展和動畫製作要求的提高,在發達國家,運動捕捉已經進入了實用化階段,有多家廠商相繼推出了多種商品化的運動捕捉設備,如 MotionAnalysis 、 Polhemus 、 Sega Interactive 、 MAC 、 X-Ist 、 FilmBox、Nokov等,成功地用於虛擬現實、遊戲、人體工程學研究、模擬訓練、生物力學研究等許多方面。
從技術的角度來說,運動捕捉的實質就是要測量、跟蹤、記錄物體在三維空間中的運動軌跡。典型的運動捕捉設備一般由以下幾個部分組成:
· 感測器。所謂感測器是固定在運動物體特定部位的跟蹤裝置,它將向 Motion capture 系統提供運動物體運動的位置信息,一般會隨著捕捉的細緻程度確定跟蹤器的數目。
· 信號捕捉設備。這種設備會因 Motion capture 系統的類型不同而有所區別,它們負責位置信號的捕捉。對於機械系統來說是一塊捕捉電信號的線路板,對於光學 Motion capture 系統則是高解析度紅外攝像機。
· 數據傳輸設備。 Motion capture 系統,特別是需要實時效果的 Motion capture 系統需要將大量的運動數據從信號捕捉設備快速準確地傳輸到計算機系統進行處理,而數據傳輸設備就是用來完成此項工作的。
· 數據處理設備。經過 Motion capture 系統捕捉到的數據需要修正、處理后還要有三維模型向結合才能完成計算機動畫製作的工作,這就需要我們應用數據處理軟體或硬體來完成此項工作。軟體也好硬體也罷它們都是藉助計算機對數據高速的運算能力來完成數據的處理,使三維模型真正、自然地運動起來。
技術之一:機械式運動捕捉
機械式運動捕捉依靠機械裝置來跟蹤和測量運動軌跡。典型的系統由多個關節和剛性連桿組成,在可轉動的關節中裝有角度感測器,可以測得關節轉動角度的變化情況。裝置運動時,根據角度感測器所測得的角度變化和連桿的長度,可以得出桿件末端點在空間中的位置和運動軌跡。實際上,裝置上任何一點的運動軌跡都可以求出,剛性連桿也可以換成長度可變的伸縮桿,用位移感測器測量其長度的變化。
早期的一種機械式運動捕捉裝置是用帶角度感測器的關節和連桿構成一個 " 可調姿態的數字模型 " ,其形狀可以模擬人體,也可以模擬其他動物或物體。使用者可根據劇情的需要調整模型的姿態,然後鎖定。角度感測器測量並記錄關節的轉動角度,依據這些角度和模型的機械尺寸,可計算出模型的姿態,並將這些姿態數據傳給動畫軟體,使其中的角色模型也做出一樣的姿態。這是一種較早出現的運動捕捉裝置,但直到現在仍有一定的市場。國外給這種裝置起了個很形象的名字: " 猴子 "。
機械式運動捕捉的一種應用形式是將欲捕捉的運動物體與機械結構相連,物體運動帶動機械裝置,從而被感測器實時記錄下來。
這種方法的優點是成本低,精度也較高,可以做到實時測量,還可容許多個角色同時表演。但其缺點也非常明顯,主要是使用起來非常不方便,機械結構對表演者的動作阻礙和限制很大。而 " 猴子 " 較難用於連續動作的實時捕捉,需要操作者不斷根據劇情要求調整 " 猴子 " 的姿勢,很麻煩,主要用於靜態造型捕捉和關鍵幀的確定。
技術之二:聲學式運動捕捉
常用的聲學式運動捕捉裝置由發送器、接收器和處理單元組成。發送器是一個固定的超聲波發生器,接收器一般由呈三角形排列的三個超聲探頭組成。通過測量聲波從發送器到接收器的時間或者相位差,系統可以計算並確定接收器的位置和方向。
這類裝置成本較低,但對運動的捕捉有較大延遲和滯后,實時性較差,精度一般不很高,聲源和接收器間不能有大的遮擋物體,受雜訊和多次反射等干擾較大。由於空氣中聲波的速度與氣壓、濕度、溫度有關,所以還必須在演演算法中做出相應的補償。
技術之三:電磁式運動捕捉
電磁式運動捕捉系統是比較常用的運動捕捉設備。一般由發射源、接收感測器和數據處理單元組成。發射源在空間產生按一定時空規律分佈的電磁場;接收感測器(通常有 10 ~ 20 個)安置在表演者身體的關鍵位置,隨著表演者的動作在電磁場中運動 , 通過電纜或無線方式與數據處理單元相連,見圖 2 和圖 3 所示。
表演者在電磁場內表演時,接收感測器將接收到的信號通過電纜傳送給處理單元,根據這些信號可以解算出每個感測器的空間位置和方向。 Polhemus 公司和 Ascension 公司均以生產電磁式運動捕捉設備而著稱。這類系統的採樣速率一般為每秒 15 ~ 120 次(依賴於模型和感測器的數量),為了消除抖動和干擾,採樣速率一般在 15Hz 以下。對於一些高速運動,如拳擊、籃球比賽等,該採樣速度還不能滿足要求。電磁式運動捕捉的優點首先在於它記錄的是六維信息,即不僅能得到空間位置,還能得到方向信息,這一點對某些特殊的應用場合很有價值。其次是速度快,實時性好,表演者表演時,動畫系統中的角色模型可以同時反應,便於排演、調整和修改。裝置的定標比較簡單,技術較成熟,魯棒性好,成本相對低廉。
它的缺點在於對環境要求嚴格,在表演場地附近不能有金屬物品,否則會造成電磁場畸變,影響精度。系統的允許表演範圍比光學式要小,特別是電纜對表演者的活動限制比較大,對於比較劇烈的運動和表演則不適用。
技術之四:光學式運動捕捉
光學式運動捕捉通過對目標上特定光點的監視和跟蹤來完成運動捕捉的任務。常見的光學式運動捕捉大多基於計算機視覺原理。從理論上說,對於空間中的一個點,只要它能同時為兩部相機所見,則根據同一時刻兩部相機所拍攝的圖像和相機參數,可以確定這一時刻該點在空間中的位置。當相機以足夠高的速率連續拍攝時,從圖像序列中就可以得到該點的運動軌跡。
典型的光學式運動捕捉系統通常使用 6 ~ 8 個相機環繞表演場地排列,這些相機的視野重疊區域就是表演者的動作範圍。為了便於處理,通常要求表演者穿上單色的服裝,在身體的關鍵部位,如關節、髖部、肘、腕等位置貼上一些特製的標誌或發光點,稱為 "Marker" ,視覺系統將識別和處理這些標誌,如圖 4 所示。系統定標后,相機連續拍攝表演者的動作,並將圖像序列保存下來,然後再進行分析和處理,識別其中的標誌點,並計算其在每一瞬間的空間位置,進而得到其運動軌跡。為了得到準確的運動軌跡,相機應有較高的拍攝速率,一般要達到每秒 60 幀以上。
如果在表演者的臉部表情關鍵點貼上 Marker ,則可以實現表情捕捉,如圖 5 所示。大部分表情捕捉都採用光學式。
有些光學運動捕捉系統不依靠Marker 作為識別標誌,例如根據目標的側影來提取其運動信息,或者利用有網格的背景簡化處理過程等。研究人員正在研究不依靠 Marker而應用圖像識別、分析技術,由視覺系統直接識別表演者身體關鍵部位並測量其運動軌跡的技術,估計將很快投入實用。
光學式運動捕捉的優點是表演者活動範圍大,無電纜、機械裝置的限制,表演者可以自由地表演,使用很方便。其採樣速率較高,可以滿足多數高速運動測量的需要。Marker 數量可根據實際應用購置添加,便於系統擴充。
這種方法的缺點是系統價格昂貴,它可以捕捉實時運動,但后處理(包括 Marker 的識別、跟蹤、空間坐標的計算)的工作量較大,適合科研類應用。
技術之五:慣性導航式動作捕捉
通過慣性導航感測器AHRS(航姿參考系統)、IMU(慣性測量單元)測量表演者運動加速度、方位、傾斜角等特性。不受環境干擾影響,不怕遮擋。捕捉精確度高,採樣速度高,達到每秒1000次或更高。由於採用高集成晶元、模塊,體積小、尺寸小,重量輕,性價比高。慣導感測器佩戴在表演者頭上,或通過17個感測器組成數據服穿戴,通過USB線、藍牙、2.4Gzh DSSS無線等與主機相聯,分別可以跟蹤頭部、全身動作,實時顯示完整的動作。
運動捕捉技術在其他領域的應用
將運動捕捉技術用於動畫製作,可極大地提高動畫製作的水平。它極大地提高了動畫製作的效率,降低了成本,而且使動畫製作過程更為直觀,效果更為生動。隨著技術的進一步成熟,表演動畫技術將會得到越來越廣泛的應用,而運動捕捉技術作為表演動畫系統不可缺少的、最關鍵的部分,必然顯示出更加重要的地位。
運動捕捉技術不僅是表演動畫中的關鍵環節,在其他領域也有著非常廣泛的應用前景。
提供新的人機交互手段 表情和動作是人類情緒、願望的重要表達形式,運動捕捉技術完成了將表情和動作數字化的工作,提供了新的人機交互手段,比傳統的鍵盤、滑鼠更直接方便,不僅可以實現 " 三維滑鼠 " 和 " 手勢識別 " ,還使操作者能以自然的動作和表情直接控制計算機,並為最終實現可以理解人類表情、動作的計算機系統和機器人提供了技術基礎。
虛擬現實系統 為實現人與虛擬環境及系統的交互,必須確定參與者的頭部、手、身體等的位置與方向,準確地跟蹤測量參與者的動作,將這些動作實時檢測出來,以便將這些數據反饋給顯示和控制系統。這些工作對虛擬現實系統是必不可少的,這也正是運動捕捉技術的研究內容。
機器人遙控 機器人將危險環境的信息傳送給控制者,控制者根據信息做出各種動作,運動捕捉系統將動作捕捉下來,實時傳送給機器人並控制其完成同樣的動作。與傳統的遙控方式相比,這種系統可以實現更為直觀、細緻、複雜、靈活而快速的動作控制,大大提高機器人應付複雜情況的能力。在當前機器人全自主控制尚未成熟的情況下,這一技術有著特別重要的意義。
互動式遊戲 可利用運動捕捉技術捕捉遊戲者的各種動作,用以驅動遊戲環境中角色的動作,給遊戲者以一種全新的參與感受,加強遊戲的真實感和互動性。
體育訓練 運動捕捉技術可以捕捉運動員的動作,便於進行量化分析,結合人體生理學、物理學原理,研究改進的方法,使體育訓練擺脫純粹的依靠經驗的狀態,進入理論化、數字化的時代。還可以把成績差的運動員的動作捕捉下來,將其與優秀運動員的動作進行對比分析,從而幫助其訓練。
另外,在人體工程學研究、模擬訓練、生物力學研究等領域,運動捕捉技術同樣大有可為。
可以預計,隨著技術本身的發展和相關應用領域技術水平的提高,運動捕捉技術將會得到越來越廣泛的應用。
上世紀七、八十年代,動作捕捉開始是作為生物力學研究中的攝影圖像分析工具,隨著技術的日漸成熟,該技術開始拓展到教育、訓練、運動、電腦動畫、電視、電影、視頻遊戲等領域。使用者在各個關節處配備有標記點(Marker),通過標記點間位置和角度的變化來識別動作。
動作捕捉系統有機械鏈接、磁感測器、光感測器、聲感測器和慣性感測器。每種技術各有優點,但不論何種技術,用戶都會受到某些限制。
● 光學式使用光學感知來確定對象的實時位置和方向。光學式設備主要包括感光設備(接收器)、光源(發射器)以及用於信號處理的控制器。感光設備多種多樣,例如普通攝像機、光敏二極體等。光源可以是環境光,也可以是結構光。為了防止可見光的干擾,通常採用紅外線、激光等作為光源。由於光的傳播速度很快,因此光學式設備最顯著的優點是速度快、具有較高的更新率和較低的延遲,較適合實時性強的場合,在小範圍內工作效果好。紅外被動光學式動捕工作原理:多個相機組成的捕捉空間,相機上的近紅外LED照射目標物上的反射標記點(上圖中周圍的一圈光源就是近紅外光源),相機對標記點進行紅外成像,提取標記點的二維信息,通過多個相機對同一標記點反饋的空間數據,計算出Marker點的三維位置信息,動捕系統將完成對表演者的動作連續拍攝、圖像存儲、分析、處理,完成對運動軌跡的實時記錄。
● 慣性式通過盲推得出被跟蹤物體的位置,也就是說完全通過運動系統內部的推算。優點是不存在發射源、不怕遮擋、沒有外界干擾,有無限大的工作空間。缺點是快速積累誤差。
● 機械式是比較古老的跟蹤方式,使用連桿裝置組成。是價格比較便宜、精確度較高和響應時間短的系統。它可以測量物體整個身體運動,沒有延遲,而且不受聲、光、電磁波等外界干擾。另外,它能夠與力反饋裝置組合在一起。缺點是比較笨重,不靈活,而且有慣性。由於機械連接的限制,其工作空間也受到一定的限制,而且工作空間中還有一塊中心地帶是不能進入的,俗稱機械系統死角,使機械設備不能進入。
● 電磁式利用磁場的強度進行位置和方位跟蹤。一般包括發射器、接收器、介面和計算機。優點是不存在遮擋問題,接收器與發射器之間允許有其他物體,也就允許用戶走動。相對於其他運動捕捉設備,它的價格較低、精度適中、採樣率高(可達120次/秒)、工作範圍大(可達60m),允許多個磁跟蹤器跟蹤整個身體運動,並且增加了跟蹤運動的範圍。缺點是易受電子設備、鐵磁場材料的干擾,可能導致磁場變形引起誤差。測量距離加大時誤差增加,時間延遲交大(33ms),有小的抖動。