超融合基礎架構

實現模塊化橫向擴展的系統平台

超融合基礎架構(Hyper-Converged Infrastructure,或簡稱“HCI”)也被稱為超融合架構,超融合架構起初是受到 GoogleFacebook 等大型網際網路公司通過軟體定義技術構建大規模數據中心的啟發,結合虛擬化技術和企業IT的場景,為企業實現可擴展的 IT 基礎架構。

定義


超融合基礎架構(Hyper-Converged Infrastructure,或簡稱“HCI”)是指在同一套單元設備中不僅僅具備計算、網路、存儲和伺服器虛擬化等資源和技術,而且還包括備份軟體、快照技術、重複數據刪除、在線數據壓縮等元素,而多套單元設備可以通過網路聚合起來,實現模塊化的無縫橫向擴展(scale-out),形成統一的資源池。超融合(甚至超超融合)在本地很容易實現:將計算、網路和存儲都集成在一個設備內,並且通過它由供應商預先配置好且差不多到手就可以使用。HCI是實現“軟體定義數據中心”(SDDC)的終極技術途徑。
超融合基礎架構
超融合基礎架構
超融合架構(Hyperconvergence Infrastructure, HCI)將虛擬化計算和存儲整合到同一個系統平台。簡單的說就是物理伺服器上運行虛擬化軟體(Hypervisor),通過在虛擬化軟體上運行分散式存儲服務供虛擬機使用。分散式存儲可以運行在虛擬化軟體上的虛擬機里也可以是與虛擬化軟體整合的模塊。廣義上,除了虛擬化計算和存儲,超融合架構還可以整合網路以及其它更多的平台和服務。當前業界普遍的共識是:軟體定義的分散式存儲層和虛擬化計算是超融合架構的最小集。
軟體定義分散式存儲 是超融合的核心。分散式存儲解決了集中式共享存儲應用在虛擬化場景里的問題:
超融合基礎架構
超融合基礎架構
·基於傳統集中式共享存儲的架構 :
·異構硬體,成本高,升級困難
·集中式存儲架構,存單點故障風險
·存儲控制器數量有限,無法擴展
·無法充分發揮 SSD 性能,I/O 易成瓶頸
·管理運維複雜
超融合平台特徵
• 基於 x86 通用硬體平台,軟體定義存儲
在通用的 x86 架構下,藉助SSD、10 GbE 網路等高速硬體,通過軟體的方式實現存儲池化、快照、克隆、分層、精簡配置等企業級的數據功能。
• 按需水平擴展
Share-nothing 的架構設計,通過增加節點的方式彈性水平擴展,整個集群無擴展瓶頸。
• 統一的管理平台
虛擬化計算和存儲在同一個平台進行管理,管理員在同一套平台下進行性能、容量的監控,問題排查等運維工作。
• 簡化交付
交付簡單,通常軟硬一體機能做到“插電即用”。軟體交付方式也能在內較短的時間(通常 1 小時內)完成集群安裝和部署。
超融合廠商典型代表有Nutanix、VMwareSmartX、Maxta等,如上文所述,超融合的核心在存儲,這些廠商都針對虛擬化場景實現了分散式存儲,如:Nutanix 的 NDFS,Vmware 的 vSAN、SmartX 的 ZBS、Maxta 的 MxSP 。
超融合存儲廠商抓住的是用戶數據中心虛擬化規模增大后的存儲痛點問題(如性能、容量、運維、易用性問題),為虛擬化數據中心構建更快、更易擴展、更易用的存儲解決方案,降低數據中心的整體擁有成本。

組成


超融合系統將存儲和計算功能集成到一個單一節點(或節點集群,每個節點都提供計算和存儲功能),超融合系統都具有以下通用核心組件: 
(1)分散式存儲系統:構建在虛擬化平台之上,在伺服器虛擬化基礎上,通過部署存儲虛擬設備的方式,對本地存儲資源進行虛擬化,再經集群整合成資源池,為應用虛擬機提供存儲服務。 
(2)高速網路:GE/10GE乙太網交換機,或者Infiniband光纖交換機為分散式計算和存儲集群提供可擴展和高可用性的網路通道。 
(3)統一管理平台:其管理程序除了提供硬碟或SSD硬體抽象層之外,還提供工作負載鄰接、冗餘、故障遷移、管理和容器化作用。 
因此,超融合架構可以基於X86伺服器等低單價企業伺服器為基礎,對伺服器的內置硬碟資源進行虛擬化,提供raid后的存儲空間供伺服器使用。伺服器採用集群的方式部署在數據中心的多個機架內,通過機架間及機架內的高速二層交換網路提供極高的連接可靠性。整個超融合集群系統,以一個2UX86機架伺服器提供40TB裸容量為例,一個100個伺服器組成的集群可以提供4PB的存儲容量,可滿足90%以上企業的業務增長需求。通過批量採購的商用伺服器可使基於超融合架構建設的數據中心可具有較高的性價比。

特點


超融合基礎架構繼承了融合式架構的一些特性,同樣都是使用通用硬體伺服器為基礎,將多台伺服器組成含有跨節點統一儲存池的群集,來獲得整個虛擬化環境需要的效能、容量擴展性與數據可用性,可透過增加群集中的節點數量,來擴充整個群集的運算效能與儲存空間,並透過群集各節點間的彼此數據複製與備份,提供服務高可用性與數據保護能力。而為能靈活地調配資源,超融合架構也採用了以虛擬機(VM)為核心,軟體定義方式來規畫與運用底層硬體資源,然後向終端用戶交付需要的資源。 
1、運算單元與儲存單元的融合
傳統的存儲區域網路架構使用的運算和儲存單元是分離的。傳統的伺服器外接SAN交換機、儲存設備等,超融合架構則將運算和儲存單元合二為一。這樣每個伺服器節點單元同時可提供運算資源和儲存空間,每一台超融合架構的伺服器節點就相當於傳統伺服器外接SAN交換機和儲存設備,即使用伺服器節點的磁碟驅動器來提供需要的儲存空間。 
2、實際的硬體資源與虛擬化平台的完整融合
超融合架構是通過虛擬化平台軟體來合理硬體資源的,運算資源和儲存資源都是通過虛擬機來合理調配使用,是一種以虛擬機為核心的虛擬化應用。另外,超融合架構的運算資源和儲存資源都是軟體定義化的,硬體部份只是一台普通的通用硬體伺服器,用戶使用的虛擬機與儲存空間完全依靠Hypervisor等軟體所構建,隔絕了用戶與底層的物理設備。 
3、更易於管理的超融合架構
在融合式架構中,由於運算與儲存資源是由各自獨立的伺服器與儲存設備來提供,操作管理也是獨立的,管理者必須分別透過不同的管理工具來管理這兩種設備。管理者須在儲存設備上從LUN、連接映像等這些設定著手,然後再將設定好的儲存裝置掛載到伺服器主機上,通過Hypervisor提供給VM使用。超融合架構,運算與儲存二合一,只需單一的平台就可同時管理運算和儲存資源的設定。用戶可根據自身需要來設定運算與儲存資源的服務等級,實際資源的分配可由管理平台自動完成,管理變得輕鬆而簡單。 
4、縱向構建和橫向擴展
超融合架構由於把運算與儲存融合在一台設備,每台超融合設備都含有獨立、完整的運算、儲存硬體資源,所以每台設備也就構成了一個獨立的基礎單元。通過叢集架構,用戶可以以一台超融合設備為單元,以堆疊的方式將更多的節點加入到叢集中,來擴展整個超融合架構叢集的容量。

超融合技術


概念

超融合技術,又稱“超融合架構技術”,是指在單個一體化基礎架構中同時具備計算、存儲、網路和虛擬化等資源和技術的架構。超融合架構打破了傳統的伺服器、網路和存儲的孤立界線,將CPU、內存、存儲、網路、虛擬化技術整合在一台設備上,每一台設備作為一個單元節點,多節點通過網路聚合實現模塊化的無縫橫向擴展,形成統一的資源池。 
超融合架構以通用x86伺服器為基礎,通過集成計算、存儲、網路及虛擬化技術,匯聚單台伺服器的存儲形成跨多個節點統一存儲池的集群,提供更好的性能和擴展性。通過增加集群中的節點數量,即可擴展整個集群的計算性能和存儲容量,並通過集群各節點間彼此的數據複製與備份,提供服務高可用性與數據保護能力。 

技術特點

1、融合
傳統架構下的計算資源和存儲資源是分離的,伺服器通過SAN交換機與存儲設備連接獲取存儲空間。超融合技術改變了傳統伺服器、存儲、網路相互孤立的基礎架構,實現計算資源、存儲資源和網路資源的統一融合,每一台超融合節點單元可同時提供計算資源和存儲空間。超融合架構採用軟體定義的體系結構,不再依賴於硬體,計算、存儲、網路完全虛擬化並由軟體控制。伺服器和存儲得到了統一的部署和管理,並為整個虛擬化體系提供了簡單、通用的管理和自動化平台。 
2、敏捷
超融合技術通過軟硬體一體化的融合,實現設備快速交付、架構彈性伸縮、業務敏捷部署和系統精簡運維。超融合一體機在出廠時已根據需求完成硬體的集成和軟體的安裝,設備上架開機即可交付使用,極大簡化了設備安裝調試的複雜度。超融合技術基於虛擬化和軟體定義,構建扁平化、隨需而變、彈性可擴展的敏捷架構,所有資源均可按需部署、靈活調度和動態擴展。傳統架構下的計算資源、存儲資源和網路資源由不同的設備提供,管理者必須分別通過不同的管理工具管理多種設備,超融合架構下只需通過單一的平台即可同時管理計算、存儲和網路資源,降低運維難度,實現精簡運維。 
3、安全
超融合技術實現了計算、存儲和網路資源的融合,原來分散在不同伺服器和存儲設備上的數據全部集中在超融合節點本地磁碟上,系統及數據的安全風險隨即凸顯。超融合架構採用集群管理方式,系統出現故障時能夠自動在其他節點設備上重啟,避免物理環境的單點故障。數據多副本機制實現數據分散存放,不同數據副本放在不同的超融合節點上,當一個節點出現故障時,仍然可以依靠其他節點上的數據副本繼續對外提供服務,有效保障業務連續性和數據安全。 
4、開放
超融合架構採用軟硬體解耦架構,在伺服器層面,超融合架構能夠在任何x86伺服器上運行,與物理伺服器的硬體配置無關,無需修改上層系統和應用即可運行;在存儲層面,超融合架構支持與各種類型的外置存儲進行對接,將數據存儲到外置存儲或使用外置存儲作為備份介質;在網路層面,超融合架構無需依賴任何支持特定協議的網路設備,支持與現有網路設備組網連接。超融合架構能夠為上層應用屏蔽底層複雜和異構的基礎架構,對主流操作系統和應用進行兼容性適配和性能優化集成。

關鍵技術


1、伺服器虛擬化
超融合基礎架構
伺服器虛擬化是整個超融合架構中的核心組件,基於裸金屬架構的虛擬化程序直接運行在伺服器上,實現對伺服器物理資源的抽象,將CPU、內存、硬碟等伺服器物理資源轉化為一組可統一管理、調度和分配的邏輯資源,並基於這些邏輯資源在單個物理伺服器上構建多個同時運行、相互隔離的虛擬機執行環境,實現更高的資源利用率,減少系統管理的複雜度,加快對業務需求的響應速度,提供高可靠、高可用的應用服務。 
存儲虛擬化是將集群各節點伺服器上獨立的硬碟存儲空間進行組織聚合,構成一個共享的存儲資源池,所有的存儲資源在這個存儲池中統一管理,實現存儲資源的自動化管理和分配,構建高效靈活的存儲架構與管理平台,提供高可靠、高性能存儲。存儲虛擬化基於分散式存儲系統,融合了分散式緩存、SSD讀寫緩存加速、多副本機制等多種存儲技術,在功能上與獨立共享存儲完全一致。存儲虛擬化通過SSD緩存,可以大幅提升伺服器硬碟的I/O性能,實現高性能存儲和業務高效可靠運行。存儲虛擬化採用多副本機制,一份數據同時存儲在多個不同的物理伺服器硬碟上,提升數據可靠性,保障關鍵業務安全穩定運行。此外,由於存儲和計算完全融合在一台伺服器上,省卻了外置磁碟陣列的控制器、光纖交換機等設備,達到了降低成本的目的。 
3、網路虛擬化
網路虛擬化通過實現網路中所需的各類網路連接服務(包括路由、交換、安全、負載均衡等)按需分配和靈活調度,提供了全新的網路連接運維模式,解決了傳統硬體網路的眾多管理和運維難題,可滿足業務應用對網路快速、靈活自動化部署的需求。

基礎架構


超融合基礎架構
超融合基礎架構
超融合架構 :
基於通用 x86 平台,成本可控
分散式架構,無單點故障
軟體定義,靈活升級
智能 HDD/SSD 混合存儲,極致 I/O 性能
統一管理平台,簡化運維
超融合架構將圍繞虛擬化計算的存儲、網路集成到了同一個硬體盒子中,生態系統涵蓋軟體和硬體廠商,因其核心是軟體,在這裡我們集中討論三類有代表意義的軟體廠商,而並不展開討論整個生態系統:
“超融合存儲”廠商,作為“超融合”架構概念的來源,Nutanix、SmartX、Simplivity等超融合存儲廠商通過其穩定、高性能、豐富的企業級數據保護特性的存儲構建了核心競爭力,是目前“超融合”生態圈的核心玩家之一。
“VMware”,作為虛擬化領域的霸主,VMware為保衛VMware生態系統推出vSAN和EVO:RAIL,藉助vSphere的市場份額,推廣其超融合存儲解決方案,是目前“超融合”生態圈的第二個大玩家。
Openstack等開源陣營”,OpenStack廠商乘風借勢,藉助開源項目Ceph也推出了自己的超融合解決方案,與超融合存儲廠商和VMware一起,初步形成了超融合存儲市場的三類玩家。

優勢


1、極簡的架構
超融合架構直接將存儲分散部署到每台PC伺服器上,在伺服器上部署了快速的快閃記憶體盤和大容量傳統機械磁碟,來應對系統高IO需求和大容量存儲的需要。因此,超融合架構能實現高速訪問本地數據,無需跨網路訪問。超融合架構還包括備份軟體、快照技術、重複數據刪除、在線數據壓縮等元素,多套單元設備可以通過網路聚合起來,實現模塊化的無縫橫向擴展(scale-out),形成統一的資源池,它的擴展方式變為橫向增加節點即可。通過這種標準化的模塊,用來搭建數據中心無疑是非常方便的,這不僅大大方便客戶的搭建管理,同時也增強了系統的靈活性,同時讓部署和運維都更簡單。 
(1)讓系統更靈活
隨著雲計算和大數據時代的來臨,企業需要IT系統能夠快速的跟上業務需求。超融合讓系統的擴展更靈活。客戶只需要根據需求購買相同的配置,就可以快速的實現IT系統的擴展。 
(2)部署更簡單
超融合在於對伺服器、存儲、網路的融合,由於採用開箱即用的部署方式,大大簡化規劃、連接、配置等複雜的管理操作。像樂高積木一樣,只需要相同的模塊,根據客戶的需求,就可以搭建出各種各樣的模型。樂高積木就相當於超融合,而搭建出來的模型就是數據中心。交付時間可以從過去的十幾天縮短到一兩天,大大縮短交付的時間。 
(3)運維更簡單
與傳統架構相比,超融合架構管理更為簡單,傳統架構下,虛擬化、伺服器、存儲、網路四層需要分別進行管理配置,非常的複雜和繁瑣,超融合將這些功能集成到一個用戶界面上,用戶可以在一個運維界面上,實現計算和存儲的資源池化、CPU/內存/存儲等資源的動態分配、虛擬機的創建和啟動,給用戶帶來極大的便利。總的來說就是,超融合架構具備了統一的系統管理、監控、維護等特點。 
2、高可靠性
通過全部功能組件的全部軟體定義,企業級雲實現了硬體無關的分散式架構,可以做到硬體故障不影響業務。平台內嵌的CDP功能,當管理員誤刪除資料庫或業務系統遭遇勒索病毒時,可將數據一鍵恢復到過去3天內的任意1秒。DRX/DRS智能調度技術,保障業務不因資源不足而導致不可用。 
3、高性能
企業級雲通過分散式存儲分層技術、邏輯條帶化技術,以及通過優化NUMA和大頁內存技術等,充分滿足網際網路業務、實時交易系統、BI分析等業務,以及OracleRAC、MySQL等資料庫集群和ERP、MES、HIS等關鍵應用對性能的高需求。 
4、高安全性
企業級雲能夠為用戶提供平台安全、數據安全、應用安全、邊界安全+雲端安全的4+1立體式安全防護體系,由內而外構建數據中心堅固的安全防護堡壘。當用戶有安全合規需求時,通過安全中心提供完整的安全規劃建議、安全建設模板,真正做到安全可視,幫助用戶快速構建自己的雲安全體系。 
5、高性價比
採用超融合架構,用戶的整體擁有成本(TCO)將明顯降低;利用超融合設備,不但可以快速搭建出一個數據中心,更重要的是,利用超融合這種方式,能夠讓客戶在搭建過程更方便,客戶不需要再對基礎設施進行調研,只需要了解自己的需求,同時了解到超融合設備,這樣就能夠快速的實現搭建。在應用方面無疑大大節省了企業的成本。

融合與超融


超融合基礎架構的迅速發展使得管理員可以在更多的虛擬化存儲解決方案當中進行選擇。
儘管現在市場上已經擁有多種軟體定義存儲和存儲虛擬化解決方案,但是存儲的本質並沒有發生變化。虛擬機體積不會減小,數量也不會降低。對於現在已經擁有超融合基礎架構的企業來說,部署和管理專用超融合基礎架構和網路是一種十分寶貴的經驗。儘管這種方式通常需要在硬體和人員方面進行大量投資,但是可靠性和性能表現也是非常值得稱道的。現在,超融合基礎架構產品也能夠提供很多相關功能,比如數據鏡像、去重複化、加密和災難恢復等。
融合基礎架構
融合和超融合基礎架構的出現為企業帶來了存儲方面的困惑:如何為現有虛擬化環境選擇理想的存儲解決方案,並且保證其能夠適應未來的發展趨勢?為了做出正確的決定,管理員需要理解融合和超融合基礎架構之間的區別,以及傳統存儲硬體將繼續扮演怎樣的角色。
超融合基礎架構。這是一種將計算、網路和存儲等資源作為基本組成元素,根據系統需求進行選擇和預定義的過程。這種方式基於現有的硬體模塊,因此能夠實現快速擴展,並且如果不同模塊之間相互兼容,那麼擴展過程將會非常簡單。超融合基礎架構這種預配置產品前期會產生大量開銷,因為企業不僅需要支付技術費用,還需要請廠商完成完成相關集成工作。隨著時間延長,超融合基礎架構總擁有成本能夠控制在合理範圍之內。用戶在更改和升級基礎組件方面擁有部分靈活性,但僅限於超融合基礎架構廠商允許的範圍之內。在超融合基礎架構當中,存儲控制器仍然是硬體設備,並且由“傳統”存儲區域網路(SAN)或者網路附加存儲(NAS)解決方案所控制。這種方式更加類似於將傳統的數據中心組件封裝在一個專用容器當中。
超融合基礎架構。“超級”融合基礎架構意味著既利用融合基礎架構的現有優勢,又增加了額外的軟體層,將計算、網路和存儲等資源封裝在單個容器當中,而不是以基礎組件的形式提供。藉助於Nutanix或者EVO:RAIL等相關產品,超融合基礎架構可以在存儲硬體當中不再使用存儲控制器,將這項功能加入到hypervisor層的軟體服務當中。將存儲控制器轉換為軟體服務可以在功能方面提供更大的靈活性。這種“分散式”超融合基礎架構能夠降低專用超融合基礎架構和網路的複雜性。在降低本地存儲開銷的同時,提供許多高級特性,比如複製和去重複化。
由於能夠解決企業當中的許多存儲問題,融合和超融合基礎架構產品已經獲得了大量關注。如果超融合基礎架構嘗試在存儲平台當中使用標準伺服器,那麼會在硬體耐用性和性能方面遇到問題。因此可以通過在超融合基礎架構當中應用軟體定義存儲特性來解決這些問題,因為超融合基礎架構主要用途就是處理虛擬環境當中的負載。
超融合基礎架構相關功能
軟體定義存儲和超融合基礎架構化為企業提供了很多新的特性。企業需要根據現有超融合基礎架構或者將要部署的存儲和虛擬化環境來決定使用哪些特性。仍在使用超融合基礎架構的企業也許不會做出巨大變化或者替換現有超融合基礎架構,他們將會想要利用軟體定義存儲技術來添加新的超融合基礎架構功能。同樣的道理還適用於想要使用企業級應用程序、需要專用帶寬來共享傳統SAN/NAS的情況。在虛擬化超融合基礎架構當中使用這些技術是一種可信賴的方式,但是最大的問題在於找到一種能夠降低超融合基礎架構的平均成本的方式。
虛擬化環境當中的超融合基礎架構存儲解決方案需要針對不同環境進行相應調整。沒有人會懷疑虛擬化技術的價值,但是將hypervisor存放在哪裡是一個極具爭議性的話題。
超融合基礎架構存儲還沒有像計算平台那樣成為一種成熟技術,企業需要評估成本、複雜性、可靠性和性能表現等多種因素。
評估超融合基礎架構存儲方案
從存儲的角度來說,超融合基礎架構更加引人關注。從硬體角度來說,將計算、網路和存儲集中到相同的平台當中是一種理想的遷移方式。此外,將超融合基礎架構存儲控制器由硬體組件轉變成為軟體服務(可以由管理員進行控制,不需要長時間培訓)也是一種合理並且受歡迎的做法。
如果預測一下數據中心的未來,虛擬化和超融合基礎架構存儲發展將會成為主要趨勢。Nutanix已經成為超融合基礎架構領域當中的市場領導者。推動VMware EVO超級融合基礎架構產品不斷發展。儘管嘗試預測未來是一件非常複雜的事情,但是對於超融合基礎架構存儲來說,廠商應該實現產品在成本、靈活性和性能表現之間的最佳平衡。作為用戶,我們有多種選擇,不論是在存儲還是超融合基礎架構領域當中。
謹慎的IT規劃通常會包含多種超融合基礎架構內容,但是虛擬化、雲計算和存儲應該成為討論的核心。企業希望預測這些領域未來將會發生怎樣的變化,所以實際上,企業是在選擇一種面向未來的超融合基礎架構,也就是現在做出的選擇需要為以後留出適應空間。
目前,大家可以看到來自IDC發布的《2015H1中國超融合市場廠商份額報告》,有提到一個重要的數字:3.97千萬美金,這就是中國超融合市場規模在2015年上半年的總體數字。
從這個簡單的數字可以發現,超融合在中國的發展狀態已經非常不錯了,只是2015半年的數據就已經超過了2.4億多人民幣市場規模了。
其中,業內人士透露:聯通沃雲基於OpenStack並採用SmartX超融合產品,目前是中國最大規模部署的系統了。