虛擬存儲技術

所謂虛擬存儲，就是把內存與外存有機的結合起來使用，從而得到一個容量很大的“內存”，這就稱之為虛擬存儲。

目前虛擬存儲的發展尚無統一標準，從虛擬化存儲的拓撲結構來講主要有兩種方式：即對稱式與非對稱式。對稱式虛擬存儲技術是指虛擬存儲控制設備與存儲軟體系統、交換設備集成為一個整體，內嵌在網路數據傳輸路徑中；非對稱式虛擬存儲技術是指虛擬存儲控制設備獨立於數據傳輸路徑之外。從虛擬化存儲的實現原理來講也有兩種方式；即數據塊虛擬與虛擬文件系統。具體如下：

對稱式虛擬存儲

圖1對稱式虛擬存儲解決方案的示意圖

在圖1所示的對稱式虛擬存儲結構圖中，存儲控制設備 High Speed Traffic Directors（HSTD）與存儲池子系統Storage Pool集成在一起，組成SAN Appliance。可以看到在該方案中存儲控制設備HSTD在主機與存儲池數據交換的過程中起到核心作用。該方案的虛擬存儲過程是這樣的：由HSTD內嵌的存儲管理系統將存儲池中的物理硬碟虛擬為邏輯存儲單元（LUN），並進行埠映射（指定某一個LUN能被哪些埠所見），主機端將各可見的存儲單元映射為操作系統可識別的盤符。當主機向SAN Appliance寫入數據時，用戶只需要將數據寫入位置指定為自己映射的盤符（LUN），數據經過HSTD的高速并行埠，先寫入高速緩存，HSTD中的存儲管理系統自動完成目標位置由LUN到物理硬碟的轉換，在此過程中用戶見到的只是虛擬邏輯單元，而不關心每個LUN的具體物理組織結構。該方案具有以下主要特點：

（1）採用大容量高速緩存，顯著提高數據傳輸速度。

緩存是存儲系統中廣泛採用的位於主機與存儲設備之間的I/O路徑上的中間介質。當主機從存儲設備中讀取數據時，會把與當前數據存儲位置相連的數據讀到緩存中，並把多次調用的數據保留在緩存中；當主機讀數據時，在很大幾率上能夠從緩存中找到所需要的數據。直接從緩存上讀出。而從緩存讀取數據時的速度只受到電信號傳播速度的影響（等於光速），因此大大高於從硬碟讀數據時碟片機械轉動的速度。當主機向存儲設備寫入數據時，先把數據寫入緩存中，待主機端寫入動作停止，再從緩存中將數據寫入硬碟，同樣高於直接寫入硬碟的速度

（2）多埠并行技術，消除了I/O瓶頸。

傳統的FC存儲設備中控制埠與邏輯盤之間是固定關係，訪問一塊硬碟只能通過控制它的控制器埠。在對稱式虛擬存儲設備中，SAN Appliance的存儲埠與LUN的關係是虛擬的，也就是說多台主機可以通過多個存儲埠（最多8個）併發訪問同一個LUN；在光纖通道100MB/帶寬的大前提下，并行工作的埠數量越多，數據帶寬就越高。

（3）邏輯存儲單元提供了高速的磁碟訪問速度。

在視頻應用環境中，應用程序讀寫數據時以固定大小的數據塊為單位（從512byte到1MB之間）。而存儲系統為了保證應用程序的帶寬需求，往往設計為傳輸512byte以上的數據塊大小時才能達到其最佳I/O性能。在傳統SAN結構中，當容量需求增大時，唯一的解決辦法是多塊磁碟（物理或邏輯的）綁定為帶區集，實現大容量LUN。在對稱式虛擬存儲系統中，為主機提供真正的超大容量、高性能LUN，而不是用帶區集方式實現的性能較差的邏輯卷。與帶區集相比，Power LUN具有很多優勢，如大塊的I/O block會真正被存儲系統所接受，有效提高數據傳輸速度；並且由於沒有帶區集的處理過程，主機CPU可以解除很大負擔，提高了主機的性能。

（4）成對的HSTD系統的容錯性能。

在對稱式虛擬存儲系統中，HSTD是數據I/O的必經之地，存儲池是數據存放地。由於存儲池中的數據具有容錯機制保障安全，因此用戶自然會想到HSTD是否有容錯保護。象許多大型存儲系統一樣，在成熟的對稱式虛擬存儲系統中，HSTD是成對配製的，每對HSTD之間是通過SAN Appliance內嵌的網路管理服務實現緩存數據一致和相互通信的。

（5）在SAN Appliance之上可方便的連接交換設備，實現超大規模Fabric結構的SAN。

因為系統保持了標準的SAN結構，為系統的擴展和互連提供了技術保障，所以在SAN Appliance之上可方便的連接交換設備，實現超大規模Fabric結構的SAN。

非對稱式虛擬存儲系統

圖2非對稱式虛擬存儲系統示意圖

在圖2所示的非對稱式虛擬存儲系統結構圖中，網路中的每一台主機和虛擬存儲管理設備均連接到磁碟陣列，其中主機的數據路徑通過FC交換設備到達磁碟陣列；虛擬存儲設備對網路上連接的磁碟陣列進行虛擬化操作，將各存儲陣列中的LUN虛擬為邏輯帶區集（Strip）,並對網路上的每一台主機指定對每一個Strip的訪問許可權（可寫、可讀、禁止訪問）。當主機要訪問某個Strip時，首先要訪問虛擬存儲設備，讀取Strip信息和訪問許可權，然後再通過交換設備訪問實際的Strip中的數據。在此過程中，主機只會識別到邏輯的Strip，而不會直接識別到物理硬碟。這種方案具有如下特點：

（1）將不同物理硬碟陣列中的容量進行邏輯組合，實現虛擬的帶區集，將多個陣列控制器埠綁定，在一定程度上提高了系統的可用帶寬。

（2）在交換機埠數量足夠的情況下，可在一個網路內安裝兩台虛擬存儲設備，實現Strip信息和訪問許可權的冗餘。

但是該方案存在如下一些不足：

（1）該方案本質上是帶區集——磁碟陣列結構，一旦帶區集中的某個磁碟陣列控制器損壞，或者這個陣列到交換機路徑上的銅纜、GBIC損壞，都會導致一個虛擬的LUN離線，而帶區集本身是沒有容錯能力的，一個LUN的損壞就意味著整個Strip裡面數據的丟失。

（2）由於該方案的帶寬提高是通過陣列埠綁定來實現的，而普通光纖通道陣列控制器的有效帶寬僅在40MB/S左右，因此要達到幾百兆的帶寬就意味著要調用十幾台陣列，這樣就會佔用幾十個交換機埠，在只有一兩台交換機的中小型網路中，這是不可實現的。

（3）由於各種品牌、型號的磁碟陣列其性能不完全相同，如果出於虛擬化的目的將不同品牌、型號的陣列進行綁定，會帶來一個問題：即數據寫入或讀出時各併發數據流的速度不同，這就意味著原來的數據包順序在傳輸完畢后被打亂，系統需要佔用時間和資源去重新進行數據包排序整理，這會嚴重影響系統性能。

3．數據塊虛擬與虛擬文件系統

以上從拓撲結構角度分析了對稱式與非對稱式虛擬存儲方案的異同，實際從虛擬化存儲的實現原理來講也有兩種方式；即數據塊虛擬與虛擬文件系統。

數據塊虛擬存儲方案著重解決數據傳輸過程中的衝突和延時問題。在多交換機組成的大型Fabric結構的SAN中，由於多台主機通過多個交換機埠訪問存儲設備，延時和數據塊衝突問題非常嚴重。數據塊虛擬存儲方案利用虛擬的多埠并行技術，為多台客戶機提供了極高的帶寬，最大限度上減少了延時與衝突的發生，在實際應用中，數據塊虛擬存儲方案以對稱式拓撲結構為表現形式。

虛擬文件系統存儲方案著重解決大規模網路中文件共享的安全機制問題。通過對不同的站點指定不同的訪問許可權，保證網路文件的安全。在實際應用中，虛擬文件系統存儲方案以非對稱式拓撲結構為表現形式。

目前實現虛擬存儲主要分為如下幾種：

在伺服器端的虛擬存儲

伺服器廠商會在伺服器端實施虛擬存儲。同樣，軟體廠商也會在伺服器平台上實施虛擬存儲。這些虛擬存儲的實施都是通過伺服器端將鏡像映射到外圍存儲設備上，除了分配數據外，對外圍存儲設備沒有任何控制。伺服器端一般是通過邏輯卷管理來實現虛擬存儲技術。邏輯卷管理為從物理存儲映射到邏輯上的卷提供了一個虛擬層。伺服器只需要處理邏輯卷，而不用管理存儲設備的物理參數。

用這種構建虛擬存儲系統，伺服器端是一性能瓶頸，因此在多媒體處理領域幾乎很少採用。

在存儲子系統端的虛擬存儲

另一種實施虛擬的地方是存儲設備本身。這種虛擬存儲一般是存儲廠商實施的，但是很可能使用廠商獨家的存儲產品。為避免這種不兼容性，廠商也許會和伺服器、軟體或網路廠商進行合作。當虛擬存儲實施在設備端時，邏輯（虛擬）環境和物理設備同在一個控制範圍中，這樣做的益處在於：虛擬磁碟高度有效地使用磁碟容量，虛擬磁帶高度有效地使用磁帶介質。

在存儲子系統端的虛擬存儲設備主要通過大規模的RAID子系統和多個I/O通道連接到伺服器上，智能控制器提供LUN訪問控制、緩存和其他如數據複製等的管理功能。這種方式的優點在於存儲設備管理員對設備有完全的控制權，而且通過與伺服器系統分開，可以將存儲的管理與多種伺服器操作系統隔離，並且可以很容易地調整硬體參數。

網路設備端實施虛擬存儲

網路廠商會在網路設備端實施虛擬存儲，通過網路將邏輯鏡像映射到外圍存儲設備，除了分配數據外，對外圍存儲設備沒有任何控制。在網路端實施虛擬存儲具有其合理性，因為它的實施既不是在伺服器端，也不是在存儲設備端，而是介於兩個環境之間，可能是最“開放”的虛擬實施環境，最有可能支持任何的伺服器、操作系統、應用和存儲設備。從技術上講，在網路端實施虛擬存儲的結構形式有以下兩種：即對稱式與非對稱式虛擬存儲。

從目前的虛擬存儲技術和產品的實際情況來看，基於主機和基於存儲的方法對於初期的採用者來說魅力最大，因為他們不需要任何附加硬體，但對於異構存儲系統和操作系統而言，系統的運行效果並不是很好。基於互聯設備的方法處於兩者之間，它迴避了一些安全性問題，存儲虛擬化的功能較強，能減輕單一主機的負載，同時可獲得很好的可擴充性。

不管採用何種虛擬存儲技術，其目的都使為了提供一個高性能、安全、穩定、可靠、可擴展的存儲網路平台，滿足節目製作網路系統的苛刻要求。根據綜合的性能價格比來說，一般情況下，在基於主機和基於存儲設備的虛擬存儲技術能夠保證系統的數據處理能力要求時，優先考慮，因為這兩種虛擬存儲技術構架方便、管理簡單、維護容易、產品相對成熟、性能價格比高。在單純的基於存儲設備的虛擬存儲技術無法保證存儲系統性能要求的情況下，我們可以考慮採用基於互連設備的虛擬存儲技術。

虛擬存儲具有如下特點：

（1）虛擬存儲提供了一個大容量存儲系統集中管理的手段，由網路中的一個環節（如伺服器）進行統一管理，避免了由於存儲設備擴充所帶來的管理方面的麻煩。例如，使用一般存儲系統，當增加新的存儲設備時，整個系統（包括網路中的諸多用戶設備）都需要重新進行繁瑣的配置工作，才可以使這個“新成員”加入到存儲系統之中。而使用虛擬存儲技術，增加新的存儲設備時，只需要網路管理員對存儲系統進行較為簡單的系統配置更改，客戶端無需任何操作，感覺上只是存儲系統的容量增大了。

（2）虛擬存儲對於視頻網路系統最有價值的特點是：可以大大提高存儲系統整體訪問帶寬。存儲系統是由多個存儲模塊組成，而虛擬存儲系統可以很好地進行負載平衡，把每一次數據訪問所需的帶寬合理地分配到各個存儲模塊上，這樣系統的整體訪問帶寬就增大了。例如，一個存儲系統中有4個存儲模塊，每一個存儲模塊的訪問帶寬為50MBps，則這個存儲系統的總訪問帶寬就可以接近各存儲模塊帶寬之和，即200MBps。

（3）虛擬存儲技術為存儲資源管理提供了更好的靈活性，可以將不同類型的存儲設備集中管理使用，保障了用戶以往購買的存儲設備的投資。

（4）虛擬存儲技術可以通過管理軟體，為網路系統提供一些其它有用功能，如無需伺服器的遠程鏡像、數據快照(Snapshot)等。

由於虛擬存儲具有上述特點，虛擬存儲技術正逐步成為共享存儲管理的主流技術，其應用具體如下：

數據鏡像就是通過雙向同步或單向同步模式在不同的存儲設備間建立數據複本。一個合理的解決方案應該能在不依靠設備生產商及操作系統支持的情況下，提供在同一存儲陣列及不同存儲陣列間製作鏡像的方法。

通過IP地址實現的遠距離數據遷移（通常為非同步傳輸）對於不同規模的企業來說，都是一種極為重要的數據災難恢復工具。好的解決方案不應當依賴特殊的網路設備支持，同時，也不應當依賴主機，以節省企業的管理費用。

磁帶備份增強設備

過去的幾年，在磁帶備份技術上鮮有新發展。儘管如此，一個網路存儲設備平台亦應能在磁帶和磁碟間搭建橋路，以高速、平穩、安全地完成備份工作。

出於測試、拓展及匯總或一些別的原因，企業經常需要製作數據複本。

利用磁帶來還原數據是數據恢復工作的主要手段，但常常難以成功。數據管理工作其中一個重要的發展新方向是將近期內的備份數據（可以是數星期前的歷史數據）轉移到磁碟介質，而非磁帶介質。用磁碟恢複數據就象閃電般迅速（所有文件能在60秒內恢復），並遠比用磁帶恢複數據安全可靠。同時，整卷（Volume）數據都能被恢復。

存儲管理髮展的又一新方向是，將服務貼近應用。沒有一個信息技術領域的管理人員會單純出於對存儲設備的興趣而去購買它。存儲設備是用來服務於應用的，比如資料庫，通訊系統等等。通過將存儲設備和關鍵的企業應用行為相整合，能夠獲取更大的價值，同時，大大減少操作過程中遇到的難題。

虛擬存儲在數字視頻網路中的應用

現在我著重介紹虛擬存儲在數字視頻網路中的應用。

數字視頻網路對廣播電視行業來說已經不是一個陌生的概念了，由於它在廣播電視技術數字化進程中起到了重要的作用，國內各級電視台對其給予極大的關注，並且開始構造和應用這類系統，在數字視頻網的概念中完全打破了以往一台錄像機、一個編輯系統、一套播出系統的傳統結構，而代之以上載工作站、編輯製作工作站、播出工作站及節目存儲工作站的流程，便於操作和管理。節目上載、節目編輯、節目播出在不同功能的工作站上完成，可成倍提高工作效率。同時，由於採用非線性編輯系統，除了採集時的壓縮損失外。信號在製作、播出過程中不再有任何損失，節目的技術質量將大大提高。

在現有的視頻網路系統中，雖然電腦的主頻、網路的傳輸速率以及交換設備的性能，已經可以滿足絕大多數應用的要求，但其中存儲設備的訪問帶寬問題成為了系統的一個主要性能瓶頸。視頻編輯、製作具有數據量存儲大、碼流高、實時性強、安全性重要等特點。這就要求應用於視頻領域的存儲技術和產品必須具有足夠的帶寬並且穩定性要好。

在單機應用時，為了保證一台編輯站點有足夠的數據帶寬，SCSI技術、本地獨立磁碟冗餘陣例RAID（Redundant Array of Independent Disks）技術（包括軟體和硬體）被廣泛應用，它通過把若干個SCSI硬碟加上控制器組成一個大容量，快速響應，高可靠性的存儲子系統，從用戶看可作為一個邏輯盤或者虛擬盤，從而大大提高了數據傳輸率和存儲容量，同時利用糾錯技術提高了存儲的可靠性，並可滿足帶寬要求。

隨著節目製作需求的發展，要求2—3台站點共享編輯數據。這時可利用SCSI網路技術實現這一要求。幾台編輯站點均配置高性能的SCSI適配器，連接至共享的SCSI磁碟陣列，既可以實現幾個站點共享數據，又可以保證每一台單機的工作帶寬。

光纖通道技術的成熟應用對視頻網路的發展具有里程碑的意義，從此主機與共享存儲設備之間的連接距離限制從幾米、十幾米，擴展到幾百米、幾千米，再配合光纖通道交換設備，網路規模得到幾倍、十幾倍的擴充。這時候的FC（Fibre Channel光纖通道）磁碟陣列——RAID容錯技術、相對SCSI的高帶寬、大容量，成為視頻網路中的核心存儲設備。

隨著電視台規模的發展，全台級大規模視頻網路的應用被提出。在這種需求下，就必須將更先進的存儲技術與產品引入視頻領域。存儲區域網（SAN）的發展目前正處於全速上升期，各種概念層出不窮。其中具有劃時代意義的是虛擬存儲概念的提出。相對於傳統的交換機加RAID陣列，主機通過硬體層直接訪問陣列中的硬碟的SAN結構，虛擬存儲的定位是將數據存儲功能從實際的、物理的數據存取過程中抽象出來，使普通用戶在訪問數據時不必關心具體的存儲設備的配置參數、物理位置及容量，從而簡化用戶和系統管理人員的工作難度。

在設計一個視頻網路系統的時候，對存儲系統的選用，主要考慮如下幾個因素：（1）總體帶寬性能；（2）可管理性；（3）安全性；（4）可擴展性；（5）系統成本。

當然，這些因素之間有時是相互制約的，特別是系統成本與性能和安全性的關係。如何在這些因素之間尋求合理的、實用的、經濟的配合，是一個需要解決的課題。虛擬存儲技術的出現，為我們在構建視頻網路系統時提供了一個切實可行的高性能價格比的解決方案。

從拓撲結構來講，對稱式的方案具有更高的帶寬性能，更好的安全特性，因此比較適合大規模視頻網路應用。非對稱式方案由於採用了虛擬文件原理，因此更適合普通區域網（如辦公網）的應用。

六、虛擬存儲的實現機制

當進程運行時，先將一部分程序裝入內存，另一部分暫時留在外存，當要執行的指令不在內存時，由系統自動完成將它們從外存調入內存工作。

有效支持多道程序系統的實現和大型程序運行的需要，從而增強系統的處理能力。