科學可視化

科學可視化

科學可視化(英語:scientific visualization 或 scientific visualisation)是科學之中的一個跨學科研究與應用領域,主要關注的是三維現象的可視化,如建築學、氣象學、醫學或生物學方面的各種系統。重點在於對體、面以及光源等等的逼真渲染,或許甚至還包括某種動態成分。

美國計算機科學家布魯斯·麥考梅克在其1987年關於科學可視化的定義之中,首次闡述了科學可視化的目標和範圍:“利用計算機圖形學來創建視覺圖像,幫助人們理解科學技術概念或結果的那些錯綜複雜而又往往規模龐大的數字錶現形式”。

1982年2月,美國國家科學基金會華盛頓召開了科學可視化技術的首次會議,會議認為“科學家不僅需要分析由計算機得出的計算數據,而且需要了解在計算過程中的數據變換,而這些都需要藉助於計算機圖形學以及圖像處理技術”。

此類數字型表現形式或數據集可能會是液體流型(fluid flow)或分子動力學之類計算機模擬的輸出,或者經驗數據(如利用地理學、氣象學或天體物理學設備所獲得的記錄)。就醫學數據(CTMRIPET等),常常聽說的一條術語就是“醫學可視化”。

科學可視化本身並不是最終目的,而是許多科學技術工作的一個構成要素。這些工作之中通常會包括對於科學技術數據和模型的解釋、操作與處理。科學工作者對數據加以可視化,旨在尋找其中的種種模式、特點、關係以及異常情況;換句話說,也就是為了幫助理解。因此,應當把可視化看作是任務驅動型,而不是數據驅動型。

發展歷史


計算機渲染技術
計算機渲染技術
科學的可視化與科學本身一樣歷史悠久。傳說,阿基米德被害時正在沙子上繪製幾何圖形。就像其中包含等值線的地磁圖以及表示海上主要風向的箭頭圖那樣,天象圖也產生於中世紀。很久以前,人們就已經理解了視知覺在理解數據方面的作用。作為一個利用計算機手段的學科,科學可視化領域如今依然還屬於新事物。其發端於美國國家科學基金會1987年關於“科學計算領域之中的可視化”的報告。
1980年代:基礎的奠定
科學可視化
科學可視化
科學可視化的起源可以追溯到真空管計算機時代,並與計算機圖形學的發展齊頭並進。早期的軟體曾經都是自己編製的,且設備昂貴。當時,研究人員所做的是對科學現象的動態情況加以建模,而好萊塢則開始注重那些讓各種事物看起來華麗繽紛的演演算法。1980年代中期,當高性能計算技術造就了人們對於分析、發現及通訊手段的更高需求的時候,形式與功能才走到了一起。形形色色的感測器和超級計算機模擬為人們提供了數量如此龐大的數據,以致人們不得不求助於新的,遠為精密複雜的可視化演演算法和工具。
1986年10月,美國國家科學基金會主辦了一次名為“圖形學、圖像處理及工作站專題討論”的會議,旨在針對那些開展高級科學計算工作的研究機構,提出關於圖形硬體和軟體採購方面的建議。圖形學和影像學技術方法在計算科學方面的應用,當時乃是一項新的領域;上述專題組成員把該領域稱為“科學計算之中的可視化”。該專題組認為,科學可視化乃是正在興起的一項重大的基於計算機的技術,需要聯邦政府大力加強對它的支持。
1987年,首屆“科學計算之中的可視化”研討會召集了眾多來自學術界、行業以及政府部門的研究人員。其報告概括總結了科學可視化——這幅“科學畫卷”的全景及其未來需求。布魯斯·麥考梅克頁面布魯斯·麥考梅克並不存在,英語維基百科對應頁面為Bruce H. McCormick。在1987年的報告中稱:
“科學工作者需要數字的一種替代形式。無論是現在還是未來,圖像的運用在技術上都是現實可行的,並將成為知識的一個必備前提。對於科學工作者來說,要保證分析工作的完整性,促進深入細緻地開展檢查審核工作以及與他人溝通交流如此深入細緻的結果,絕對不可或缺的就是對計算結果和複雜模擬的可視化能力……科學計算的目的在於觀察或審視,而不是列舉。據估計,與視覺相關的大腦神經元多達50%。科學計算之中的可視化正是旨在讓這種神經機制發揮起作用來。”
這份報告所闡明的一點就是,可視化具有培育和促進主要科學突破的潛力。這有助於將計算機圖形學、圖像處理、計算機視覺計算機輔助設計、信號處理以及關於人機界面的研究工作統一起來。在與各種會議、期刊雜誌以及商業展覽相配合的情況下,這培育和促進了相關的研究與開發工作,包括從高級科學計算工作站硬體、軟體以及網路技術,直至錄像磁帶、書籍、CD光碟等等。此後,科學可視化獲得了極大的發展,並且於二十世紀90年代,成為了舉世公認的一門學科。
1990年代:學科的興起
1990年代初期,先後出現了許多不同的科學可視化方法和手段。
丹尼爾·塔爾曼(1990)將科學可視化稱為數值模擬領域的新方法。科學可視化所集中關注的是幾何圖形、動畫和渲染以及在自然科學和醫學方面的具體應用。
1991年,埃德·弗格森把“科學可視化”定義為一種方法學,即科學可視化是“一門多學科性的方法學,其利用的是很大程度上相互獨立而又彼此不斷趨向融合的諸多領域,包括計算機圖形學、圖像處理、計算機視覺、計算機輔助設計、信號處理以及用戶界面研究。其特有的目標的就是作為科學計算與科學洞察之間的一種催化劑而發揮作用。為滿足那些日益增長的,對於處理極其活躍而又非常密集的數據源的需求,科學可視化應運而生”。
1992年,布羅迪提出,科學可視化所關心的就是,通過對於數據和信息的探索和研究,從而獲得對於這些數據的理解和洞察。這也正是許多科學調查研究工作的基本目的。為此,科學可視化對計算機圖形學、用戶界面方法學、圖像處理、系統設計以及信號處理領域之中的方方面面加以了利用。
1994年,克利福德·皮寇弗總結認為,科學可視化將計算機圖形學應用於科學數據,旨在實現深入洞察,檢驗假說以及對科學數據加以全面闡釋。

發展水平


互動式科學可視化技術
互動式科學可視化技術
,《大英百科全書》依然把科學可視化作為計算機圖形學的組成部分。這部百科全書利用圖片和動畫的形式來展現對於各種科學事件的模擬,如恆星的誕生、龍捲風的演變等等……。
,2007年召開的ACM SIGGRAPH科學可視化研討會,就科學可視化的原理和應用開展了教育培訓活動。其中,所介紹的基本概念包括可視化、人類知覺、科學方法以及關於數據的方方面面,如數據的採集、分類、存儲和檢索。他們所已經確定的可視化技術方法包括二維、三維以及多維可視化技術方法,如色彩變換、高維數據集符號、氣體和液體信息可視化、立體渲染、等值線和等值面、著色、顆粒跟蹤、動畫、虛擬環境技術以及互動式駕駛。進一步延伸的主題則包括交互技術、已有的可視化系統與工具、可視化方面的美學問題,而相關主題則包括數學方法、計算機圖形學以及通用的計算機科學
現如今,一些定義有時還對“科學可視化”與“信息可視化”之間差別作出了規定。比如,ETH Zurich提出,科學可視化提供的是圖形化表現形式數值型數據,以便對這些數據進行定性和定量分析。與全自動分析(比如,藉助於統計學方法)相比,科學可視化最終的分析步驟則是留給了用戶,從而對人類視覺系統的能力加以了利用。科學可視化不同於與之相關的信息可視化領域,因為科學可視化側重於那些代表時空連續函數之樣本的數據,而不是那些內在離散的數據。

主要主題


計算機動畫

全身PET掃描的MIP動畫
全身PET掃描的MIP動畫
計算機動畫是利用計算機創建動態圖像的藝術、方法、技術和科學。如今,計算機動畫的創建工作越來越多地採用三維計算機圖形學手段,儘管二維計算機圖形學當前依然廣泛應用於體裁化、低帶寬以及更快實時渲染的需求。有時,動畫的目標載體就是計算機本身,而有時其目標則是別的介質(medium),如電影膠片(film)。另外,計算機動畫有時又稱為電腦成像技術或計算機生成圖像;在用於電影膠片的時候,甚至還會被稱為電腦特效。

計算機模擬

計算機模擬,又稱為計算機模擬,是指計算機程序或計算機網路試圖對於特定系統模型的模擬。對於許許多多系統的數學建模來說,計算機模擬都已經成為有效實用的組成部分。比如,這些系統包括物理學、計算物理學、化學以及生物學領域的天然系統;經濟學、心理學以及社會科學領域的人類系統。在工程設計過程以及新技術當中,計算機模擬旨在深入認識和理解這些系統的運行情況或者觀察它們的行為表現。對某一系統同時進行可視化與模擬的過程,稱為視覺化(visulation)(注意:視覺化不同於可視化)。
CT診斷中典型的三維及多平面重建視圖
CT診斷中典型的三維及多平面重建視圖
根據規模的不同,計算機模擬所需的時間也各不相同,包括從只需運行幾分鐘的計算機程序,到需要運行數小時的基於網路的計算機群,直至需要持續不斷運行數日之久的大型模擬。計算機模擬所模擬事件的規模已經遠遠超出了傳統鉛筆紙張式數學建模所能企及的任何可能(甚至是任何可以想像的事情):十多年前,關於一支軍隊進攻另一軍隊的沙漠戰役模擬,採用了美國國防部高性能計算機現代化計劃(High Performance Computer Modernization Program)的多台超級計算機。其中,在其模擬的科威特周圍地區範圍內,所建模的坦克、卡車以及其他的交通工具就多達66,239輛。

信息可視化

液體流之科學可視化:水中的表面波
液體流之科學可視化:水中的表面波
信息可視化的研究對象是大規模非數字型信息的視覺表達(representation)問題。此類信息如軟體系統之中眾多的文件或者代碼行、圖書館與文獻書目資料庫以及國際網際網路上的關係網路等等。
信息可視化集中關注的是建立以直觀的方式傳達抽象信息的手段和方法。可視化的表達形式與交互技術則是利用人類眼睛通往心靈深處的廣闊帶寬優勢,使得用戶能夠目睹、探索以至立即理解大量的信息。

界面技術感知

界面技術與感知所要揭示的就是,新的界面以及對於基本感知問題的深入理解,將會如何為科學可視化領域創造新的機遇。

表面立體渲染

SF6和NH3同時釋放時的化學成像
SF6和NH3同時釋放時的化學成像
在計算機圖形學當中,渲染是指利用計算機程序,依據模型生成圖像的過程。其中,模型是採用嚴格定義的語言或數據結構而對於三維對象的一種描述;這種模型之中一般都會含有幾何學、視角、紋理、照明以及陰影方面的信息;渲染所產生的圖像則是一種數字圖像或點陣圖(又稱光柵圖)。“渲染”一詞可能是對藝術家渲染畫面場景的一種類比。另外,渲染還用於描述為了生成最終的視頻輸出而在視頻編輯文件之中計算效果的過程。表面渲染,又稱為表面繪製。立體渲染,又稱為體渲染、體繪製或者立體繪製,指的是一種用於展現三維離散採樣數據集之二維投影的技術方法。典型的三維數據集就是利用CT、MRI或PET技術所採集和重建出來的一組二維切片圖像。通常情況下,這些圖像都是按照某種規則的模式(比如,每毫秒一層)而採集和重建的;因而,在同樣的規則模式下,這些圖像分別都具有相同的像素數量。這些是一類關於規則立體網格的例子;其中,每個立體元素或者說體素分別採用單獨一個取值來表示,而這種取值是通過在相應體素周圍毗鄰區域採樣而獲得的。重要的渲染技術方法包括:
【掃描線渲染與柵格化】
圖像的高級表達形式之中必然含有不同於像素方面的一些要素。這些要素被稱為基元。例如,就示意圖的繪製而言,線段和曲線可能就屬於是其中的基元。在圖形用戶界面之中,基元則可能是窗口和按鈕。在三維渲染當中,基元則可能是位於三維空間之中的三角形和多邊形。
【光線投射】
光線投射主要用於實時模擬,如三維計算機遊戲和卡通動畫之中所採用的模擬手段(其中,細節並不重要,或者為了在計算階段獲得更好的性能,採用手工方式仿造細節的辦法更為有效)。當有大量的幀需要實現動畫效果的時候,尤其是如此。在不額外採用任何其他技巧的情況下,最終所獲得的表面都會帶有一種特徵性的“平板”效果,就好像場景之中的那些對象全都塗上了啞光似的。
【輻射著色】
輻射著色,又稱為全局照明,指的是一種旨在模擬直接受照表面作為間接光源而照亮其他表面的方法。這種方法將產生更為真實的陰影,從而更好地捕捉室內場景的環境光線。典型例子就是陰影在房間角落的呈現方式。
光線跟蹤是對掃描線渲染與柵格化之中所建立的同一技術方法的一種擴展。與掃描線渲染與柵格化的情況類似的就是,其處理的是複雜的對象,而且還可能採用數學方法來描述這些對象。與掃描線和投射方法不同的是,光線跟蹤幾乎始終是一種蒙特·卡羅技術方法,而後者則依賴於對於取自同一模型的許多隨機生成樣品的平均。

立體可視化

立體可視化,又稱為體視化或三維可視化,研究的是一套旨在實現在無須數學上表達另一面(背面)的情況下查看對象的技術方法。立體可視化最初用於醫學成像,而如今已經成為許多學科領域的一項基本技術。當前,對於各種現象的描繪,如雲彩、水流、分子結構以及生物結構,立體可視化已經成為不可或缺的一項技術方法。許多立體可視化演演算法都具有高昂的計算代價,需要大量的數據存儲能力。,硬體和軟體方面的種種進展正在不斷促進著立體可視化和實時性能的發展。

主要應用


自然科學

恆星的形成
恆星的形成
恆星的形成:如右圖描繪的是恩佐恆星和銀河系模擬之中氣體/塵埃密度對數的立體圖。其中,高密度區域顯示為白色,而密度較低的區域則趨向於藍色且更為透明。
引力波:研究人員藉助Globus工具箱,利用多台超級計算機,模擬了黑洞碰撞的引力效應。
引力波
引力波
大型恆星的超新星爆炸:所可視化是關於大型恆星的超新星爆炸的三維輻射流體動力學計算結果。其中,SN 1987A模型爆炸的三維計算採用的是DJEHUTY星體演化代碼。
三維分子結構的渲染:如上精選圖片是利用VisIt的通用繪圖功能所創建的分子結構渲染結果。其原始數據取自蛋白質資料庫(Protein Data Bank,PDB),並於渲染之前在VisIt之中首先轉換為VTK文件。

地理學生態學

表面形貌的計算機繪製:利用計算機繪製表面形貌,數學家們可以檢驗有關在應力條件下各種材料將會如何發生變化的理論。這項成像任務乃是NSF所資助的,美國芝加哥伊利諾伊大學電子可視化實驗室的工作之一。
大型恆星的超新星爆
大型恆星的超新星爆
曲線圖:VisIt可以利用讀取自文件的數據來繪製曲線。藉助於相應的操作符或查詢,尚可用於從高維數據集之中提取和繪製曲線數據。這幅精選圖片之中的曲線是利用VisIt的lineout功能所繪製的,且對應於分佈在DEM數據海拔線之上的海拔數據。Lineout使用戶能夠以交互的方式繪製線條,從而詳細指定用於提取數據的路徑。繼而,VisIt即可把最終所獲得的數據繪製成曲線。
圖像標註:這幅精選圖片之中顯示的是來自NetCDF數據集的葉面積指數;該指數乃是反映全球植被情況的一項指標。主圖是位於底部的大圖,顯示的是全世界的LAI。上部的兩幅小圖實際上屬於標註,是VisIt早些時候所生成的圖像。圖像標註可用來包括旨在加強可視化結果的材料,如輔圖、實驗數據圖像、項目徽標等等。
三維分子結構的渲染
三維分子結構的渲染
散點圖:VisIt的散點圖可用於高達四維的多變數數據的可視化。這種散點圖可以接受多個標量式變數,並將它們分別用於相空間當中的不同軸之上。不同的變數相互組合起來,共同構成相空間當中各點的坐標。而且,各點採用符號來顯示,並按另一標量式變數的取值來著色。

應用科學

保時捷911模型:NASTRAN模型。該精選圖片是從NASTRAN批量數據文件之中導入的保時捷911模型的網格圖。VisIt可讀取NASTRAN批量數據文件的有限子集。通常,這種有限子集足以導入模型之中的那些適合於可視化的幾何學特徵。
城市的渲染:這裡,VisIt讀取的是一個ESRI形狀文件;該文件之中含有建築物足跡的多邊形描述。接著,在一個直線網格之上對這些多邊形進行重新採樣。最後,這個直線網格也就凸現為這幅精選的城市風景。

主要貢獻者


麥考梅克

保時捷911模型
保時捷911模型
布魯斯·麥考梅克是一位美國計算機科學家。二十世紀50年代,他曾在MIT劍橋大學以及哈佛大學從事過物理學研究。二十世紀60年代,他發起並指導了圖像處理計算機項目,並率先建立了血流以及人視網膜黃斑退化的成像技術。二十世紀80年代,他組織並主持了首屆大腦繪圖機設計研討會(1985年)。在兩年之後的1987年,他在美國國家科學基金會圖形學、圖像處理與工作站顧問委員會上提出並倡導“科學可視化”的概念和思想。

托馬斯德房蒂

城市的渲染
城市的渲染
托馬斯·德房蒂(生於1948年)是一位美國計算機圖形學研究人員以及電子可視化實驗室的主任。他曾從事過數學和計算機信息科學方面的研究,並於1973年獲得了計算機圖形學研究方面的博士學位。後來,他加入了芝加哥伊利諾伊大學的教職員隊伍,並繼而陸續獲得了眾多的榮譽。與他人一起共同創立了電子可視化實驗室,並在電影《星球大戰》的計算機動畫當中採樣了EVL的硬體與軟體。德房蒂對SIGGRAPH的組織工作和大會的成長與發展做出了巨大的貢獻。

瑪克辛布朗

瑪克辛·布朗是一位美國計算機科學家以及電子可視化實驗室的副主任。她也曾從事過數學方面的研究,並於二十世紀70年代從事計算機科學方面的研究工作。她在計算機圖形學和超級計算領域有著較長的工作歷史,並對SIGGRAPH的許多方面都作出了貢獻。

克利福德

克利福德·皮寇弗是科學、數學以及科幻小說方面的一位美國作家、編輯和專欄作家。他的主要興趣是通過融合藝術、科學、數學以及人類活動當中的其他看似互不相同的領域,尋找新的,拓展創造性的方式。二十世紀90年代,他編寫過幾部書籍,如《Frontiers of Scientific Visualization》(意為“科學可視化之前沿”)(1994)和《Visualizing Biological Information》(意為“生物學信息之可視化”)(1995)。

羅森布羅姆

勞倫斯·羅森布羅姆(生於1949年)是一位美國數學家以及美國國家科學基金會圖形學與可視化計劃的主任。羅森布羅姆的研究興趣包括移動增強現實、科學可視化和不確定性可視化,虛擬現實顯示,以及虛擬現實/增強現實系統的應用。其研究小組取得進展的方面包括移動增強現實、科學可視化和不確定性可視化、虛擬現實顯示、虛擬現實/增強現實系統的應用以及對於圖形學系統之中人類表現的理解。

組織機構


科學可視化領域的重要實驗室包括:
電子可視化實驗室
美國國家航空航天局戈達德科學可視化工作室
科學可視化領域的重要會議包括:
歐洲圖形學大會
圖形學大會:前蘇聯舉辦的最大規模的圖形學會議
IEEE可視化會議(IEEE Visualization conferences)
SIGGRAPH圖形學大會: 全球最大規模的計算機圖形學會議