Greenplum
美國以信息服務為主的公司
Greenplum。該公司成立於2003年,2006年推出了首款產品,其主營業務關注在數據倉庫和商業智能方面,GreenplumDW/BI軟體可以在虛擬化x86伺服器上運行無分享(shared-nothing)的大規模并行處理(MPP)架構。
當前使用的OLTP程序中,用戶訪問一個中心資料庫,如果採用SMP系統結構,它的效率要比採用MPP結構要快得多。而MPP系統在決策支持和數據挖掘方面顯示了優勢,可以這樣說,如果操作相互之間沒有什麼關係,處理單元之間需要進行的通信比較少,那採用MPP系統就要好,相反就不合適了。
Greenplum是一家總部位於美國加利福尼亞州,為全球大型企業用戶提供新型企業級數據倉庫(EDW)、企業級數據雲(EDC)和商務智能(BI)提供解決方案和諮詢服務的公司,在全球已有:納斯達克,紐約證券交易所,Skype.FOX,T-Mobile;中國已有:中信實業銀行,東方航空公司,阿里巴巴,華泰保險,中國遠洋(Cosco),李寧公司等大型企業用戶選擇Greenplum的產品。
Greenplum的架構採用了MPP(大規模并行處理)。在MPP系統中,每個SMP節點也可以運行自己的操作系統、資料庫等。換言之,每個節點內的CPU不能訪問另一個節點的內存。節點之間的信息交互是通過節點網際網路路實現的,這個過程一般稱為數據重分配(DataRedistribution)。與傳統的SMP架構明顯不同,通常情況下,MPP系統因為要在不同處理單元之間傳送信息,所以它的效率要比SMP要差一點,但是這也不是絕對的,因為MPP系統不共享資源,因此對它而言,資源比SMP要多,當需要處理的事務達到一定規模時,MPP的效率要比SMP好。這就是看通信時間佔用計算時間的比例而定,如果通信時間比較多,那MPP系統就不佔優勢了,相反,如果通信時間比較少,那MPP系統可以充分發揮資源的優勢,達到高效率。
Greenplum的大中華區總裁StanleyChen告訴我們:“Greenplum這個名字是一個7歲小女孩無意中脫口而出的。”起初幾個創始人在斟酌公司名字的時候都很沒頭緒,於是他們去問了朋友的孩子,一個年僅7歲的可愛小姑娘告訴他們叫“Apple”,但是爸爸告訴她,這個名字已經被別人用了,還有其他的么?很快孩子便隨口說了“Greenplum”,於是“Greenplum”公司的名字就這樣誕生了。
依照需求,快速簡便的建立任意大小和種類的數據倉庫
使用業界的標準硬體,擴充符合成本效益
相比於傳統查詢,可以以10倍到100倍的超快速度得到答案
隨著您的數據增長確保高性能的分析效率
一個平台可以支持數據查詢,機器學習,文本挖掘,統計計算等
使用業界標準的語言(SQL,MapReduce,R),在各個數據層級進行并行分析
Greenplum數據引擎的技術突破在於使用群集(Cluster)業界標準的硬體,可以對於從
TB量級到PB量級的數據進行分組,存儲和分析,因為Greenplum數據引擎在處理數據的時候儘可能接近的數據源,快速的并行處理,如此的技術可以提供超級大量的數據處理和無與倫比的導入和查詢性能。同時Greenplum數據引擎可以很容易依照需求,增加存儲容量和處理能力,避免代價高昂的設備升級。
Greenplum資料庫是業界最快和最高性價比的高端數據倉庫解決方案。用戶將可以對於大量的數據運行複雜的分析,通常用傳統的解決辦法需要幾天的運算,實際上只需幾秒鐘就可以完成。
Greenplum數據引擎-世界上最強大的分析資料庫
Greenplum數據引擎是為了支持新一代數據倉庫和分析處理大規模數據而建立的軟體解決方案。Greenplum支持SQL和MapReduce的并行處理功能,並能以較低的成本向管;理TB量到PB量級數據的企業提供業界領先的性能。
Greenplum中國首屆電信行業產品研討會
2008年,Greenplum進軍中國市場
2010年,Greenplum中國首屆電信行業產品推廣會開幕
2010年,EMC收購Greenplum
2012年,Greenplum大數據分析工具亮相EMCWorld
2012年,EMC、VMware和Greenplum又聯手建新公司
2016年,PivotalGreenplum4.3.9.0正式發布
2016年,PivotalGreenplum資料庫4.3.10.0引入了S3可寫表,開啟了Greenplum對亞馬遜S3的全面讀寫支持。用戶可以非常方便地在亞馬遜雲平台上使用到Greenplum大數據服務,並且可以快速讀寫存儲在S3上的數據。
近日,Pivotal又剛剛宣布了Greenplum資料庫對微軟Azure雲平台的支持,用戶可以在微軟Azure雲平台上方便地使用到Greenplum提供的各項專業高效的大數據服務。
2016年11月,新版GPCC3.0發布,給用戶提供了一個更好的管理Greenplum資料庫的工具。管理員可以通過GPCC查詢系統的性能指標,查看當前在系統中運行的查詢,監控資源使用情況,並且方便問題診斷和報告。GPCC3.0徹底拋棄了過時的Flash技術,使用了對瀏覽器更加友好和安全的HTML5方案。採用響應式布局設計,增強了與圖表間的互動式操作。
公司專註於OLAP系統數據引擎開發,有世界級的研發團隊進行高性能計算和資料庫系統的前沿開發工作,宗旨是向客戶提供高性能的超級數據引擎,並將強大的并行計算能力融入到大規模數據倉庫分析領域中。公司具有發展趨勢超前的視野和洞察力,為全球很多最大規模的數據倉庫提供推動力;公司最先將SQL和MapReduce的功能整合到統一的數據處理框架中。
Greenplum中國公司擁有一支具備豐富行業經驗的銷售和技術團隊,具備金融、電信、政府、網際網路等等行業的數據倉庫項目行業經驗,專註於推動Greenplum在數據倉庫分析領域的應用,為客戶實現投資回報、價值增長。
Greenplum於2008年12月進入中國市場,經過一年多的開拓,2010年1月1日Greenplum正式宣布在中國獨立運營,並任命StanleyChen先生為Greenplum大中華區總裁職務,StanleyChen先生在IT行業從業25年以上,曾在Oracle公司工作16年擔任亞太區副總裁。StanleyChen總裁將管理和運營Greenplum在大中華區的業務,Greenplum公司將為大中華區的企業級用戶提供世界領先的數據倉庫解決方案和服務。Greenplum在中國迅速而高效的適應能力已經彰顯了其卓越的實力,宣布在中國的獨立運營展示了Greenplum對中國市場的信心,也體現了Greenplum描繪中國市場宏偉藍圖的決心,也預示著新一代超級數據引擎Greenplum在中國市場的無限前景。
2010年7月EMC收購Greenplum,2010年4月Greenplum藉助EMC中國卓越研發集團進入中國,組建Greenplum研發並穩步成長,覆蓋了Chorus,Greenplum和Hadoop等多個產品研發。2014年4月,伴隨著全球Pivotal公司的組建,馮雷(RayFeng,時任EMC中國卓越研發集團Greenplum部門經理)在范承工博士和Greenplum創始人ScottYara的支持下組建了Pivotal中國研發中心。Greenplum作為Pivotal的核心大數據產品,有著一支技術實力很強的團隊。Greenplum中國研發團隊佔全球研發團隊的一半以上,在研發總監姚延棟,產品經理高小明的帶領下,專註於Greenplum分散式資料庫內核開發。此外中國研發團隊還獨立負責GPText(文本檢索)和GPCC(Greenplum資料庫監控管理)兩個產品的全部研發工作。Greenplum中國研發團隊將敏捷軟體開發方法學引入到分散式資料庫的開發中,通過使用站立會議、回顧會議、結對編程、持續集成、測試驅動、單周迭代等敏捷方法建立了高效的快速反饋系統,大大提高了產品的質量和客戶的滿意度。Greenplum中國研發團隊開放、協作、創新的文化吸引了大量來自於清華、北大、中科院、人大、北航等國內知名院校的人才,是分散式資料庫研發領域的知名團隊。
Greenplum中國研發團隊 全新的辦公場所
2016年,Pivotal中國研發中心總經理馮雷和Pivotal全球設施團隊一起為Greenplum中國研發團隊打造了一個全新的辦公場所,新辦公室位於北京融科資訊中心B座,設施先進,科技創新氛圍濃厚,體現了Pivotal的企業文化和創新精神。
當今是個數據不斷膨脹的時代,採取MPP架構的資料庫系統可以對海量數據進行管理。
Greenplum支持50PB(1PB=1024TB)級海量數據的存儲和處理,Greenplum將來自不同源系統的、不同部門、不同平台的數據集成到資料庫中集中存放,並且存放詳盡歷史的數據軌跡,業務用戶不用再面對一個又一個信息孤島,也不再困惑於不同版本數據導致的偏差,同時對於IT人員也降低管理維護工作的複雜度。
隨著商業智能在企業內的快速發展,BI用戶對信息分析平台的訪問頻率和查詢複雜度也快速提升,因此要求相應的資料庫系統對高併發查詢進行支持。Greenplum利用強大并行處理能力提供併發支持。
Greenplum提供資源管理功能(workloadmanagemnt)來管理資料庫資源,利用資源隊列管理可實現按用戶組的進行資源分配,如Session同時激活數、最大資源值等。通過資源管理功能,可以按用戶級別進行資源分配和管理用戶SQL查詢優先順序別,同時也能防止低質量SQL(如沒有條件的多表join等)對系統資源的消耗。
Greenplum與其他分散式大數據產品如YonghongZ-DataMart一樣採用了通用的MPP并行處理架構,在MPP架構中增加節點就可以線性提高系統的存儲容量和處理能力。Greenplum在擴展節點時操作簡單,在很短時間內就能完成數據的重新分佈。
Greenplum線性擴展支持為數據分析系統將來的拓展給予了技術上的保障,用戶可根據實施需要進行容量和性能的擴展。
Greenplum資料庫軟體系統節點基於業界各種開放式硬體平台,如SUN/HP/DELL等廠商的PCServer等,在普通的x86Server上就能達到很高的性能,因此性價比很高,相比於其他封閉式數據倉庫專用系統,Greenplum每TB的投資是前者的1/5甚至更低。同樣,Greenplum產品的維護成本相比同類廠商也低許多。
我們面對的是一個瞬息變化的市場,誰能首先感知到市場的需求和變化,就能在競爭中先行一步,獲得主動權,在競爭中立於不敗之地。
Greenplum通過准實時、實時的數據載入方式,實現數據倉庫的實時更新,進而實現動態數據倉庫(ADW)。基於動態數據倉庫,業務用戶能對當前業務數據進行BI實時分析-“JustInTimeBI”,能夠讓企業敏銳感知市場的變化,加快決策支持反應速度。
Greenplum是高可用的系統,在已有案例中最多使用了96台機器的集群MPP環境。除了硬體級的Raid技術外,Greenplum還提供資料庫層Mirror機制保護,即每個節點數據在另外的節點中同步鏡像,單個節點的錯誤不影響整個系統的使用。
對於主節點,Greenplum提供Master/Standby機制進行主節點容錯,當主節點發生錯誤時,可以切換到Standby節點繼續服務。
Greenplum產品是基於流行的PostgreSQL之上開發,幾乎所有的PostgreSQL客戶端工具及PostgreSQL應用都能運行在Greenplum平台上,在Internet上有著豐富的PostgreSQL資源供用戶參考。
最新進展
Greenplum被EMC公司收購,將其整合到EMC雲計算戰略中。