數據集成

數據集成

數據集成是把不同來源、格式、特點性質的數據在邏輯上或物理上有機地集中,從而為企業提供全面的數據共享。在企業數據集成領域,已經有了很多成熟的框架可以利用。目前通常採用聯邦式、基於中間件模型和數據倉庫等方法來構造集成的系統,這些技術在不同的著重點和應用上解決數據共享和為企業提供決策支持。

簡介


在企業中,由於開發時間或開發部門的不同,往往有多個異構的、運行在不同的軟硬體平台上的信息系統同時運行,這些系統的數據源彼此獨立、相互封閉,使得數據難以在系統之間交流、共享和融合,從而形成了"信息孤島"。隨著信息化應用的不斷深入,企業內部、企業與外部信息交互的需求日益強烈,急切需要對已有的信息進行整合,聯通“信息孤島”,共享信息。
數據集成:數據集成通過應用間的數據交換從而達到集成,主要解決數據的分佈性和異構性的問題,其前提是被集成應用必須公開數據結構,即必須公開表結構,表間關係,編碼的含義等。

背景


近幾十年來,科學技術的迅猛發展和信息化的推進,使得人類社會所積累的數據量已經超過了過去5 000年的總和,數據的採集、存儲、處理和傳播的數量也與日俱增。企業實現數據共享,可以使更多的人更充分地使用已有數據資源,減少資料收集、數據採集等重複勞動和相應費用。但是,在實施數據共享的過程當中,由於不同用戶提供的數據可能來自不同的途徑,其數據內容、數據格式和數據質量千差萬別,有時甚至會遇到數據格式不能轉換或數據轉換格式后丟失信息等棘手問題,嚴重阻礙了數據在各部門和各軟體系統中的流動與共享。因此,如何對數據進行有效的集成管理已成為增強企業商業競爭力的必然選擇。
由於現代企業的飛速發展和企業逐漸從一個孤立節點發展成為不斷與網路交換信息和進行商務事務的實體,企業數據交換也從企業內部走向了企業之間;同時,數據的不確定性和頻繁變動,以及這些集成系統在實現技術和物理數據上的緊耦合關係,導致一旦應用發生變化或物理數據變動,整個體系將不得不隨之修改。因此,我們進行數據集成將面臨著如何適應現代社會發展的複雜需求、有效擴展應用領域、分離實現技術和應用需求、充分描述各種數據源格式以及發布和進行數據交換等問題。

分類


數據集成模型分類
數據集成是把不同來源、格式、特點性質的數據在邏輯上或物理上有機地集中,從而為企業提供全面的數據共享。在企業數據集成領域,已經有了很多成熟的框架可以利用。通常採用聯邦式、基於中間件模型和數據倉庫等方法來構造集成的系統,這些技術在不同的著重點和應用上解決數據共享和為企業提供決策支持。在這裡將對這幾種數據集成模型做一個基本的分析。

聯邦資料庫系統

聯邦資料庫系統( FDBS)由半自治資料庫系統構成,相互之間分享數據,聯盟各數據源之間相互提供訪問介面,同時聯盟資料庫系統可以是集中資料庫系統或分散式資料庫系統及其他聯邦式系統。在這種模式下又分為緊耦合和松耦合兩種情況,緊耦合提供統一的訪問模式,一般是靜態的,在增加數據源上比較困難;而松耦合則不提供統一的介面,但可以通過統一的語言訪問數據源,其中核心的是必須解決所有數據源語義上的問題。

中間件模式

中間件模式通過統一的全局數據模型來訪問異構的資料庫、遺留系統、Web 資源等。中間件位於異構數據源系統(數據層) 和應用程序(應用層) 之間,向下協調各數據源系統,向上為訪問集成數據的應用提供統一數據模式和數據訪問的通用介面。各數據源的應用仍然完成它們的任務,中間件系統則主要集中為異構數據源提供一個高層次檢索服務。
中間件模式是比較流行的數據集成方法,它通過在中間層提供一個統一的數據邏輯視圖來隱藏底層的數據細節,使得用戶可以把集成數據源看為一個統一的整體。這種模型下的關鍵問題是如何構造這個邏輯視圖並使得不同數據源之間能映射到這個中間層。

數據倉庫模式

數據倉庫是在企業管理和決策中面向主題的、集成的、與時間相關的和不可修改的數據集合。其中,數據被歸類為廣義的、功能上獨立的、沒有重疊的主題。這幾種方法在一定程度上解決了應用之間的數據共享和互通的問題,但也存在以下的異同:聯邦資料庫系統主要面向多個資料庫系統的集成,其中數據源有可能要映射到每一個數據模式,當集成的系統很大時,對實際開發將帶來巨大的困難。
數據倉庫技術則在另外一個層面上表達數據之間的共享,它主要是為了針對企業某個應用領域提出的一種數據集成方法,也就是我們在上面所提到的面向主題並為企業提供數據挖掘和決策支持的系統。

關鍵


數據高速緩存器是關鍵
對數據集成體系結構來說,關鍵是擁有一個包含有目標計劃、源-目標映射、數據獲得、分級抽取、錯誤恢復和安全性轉換的數據高速緩存器。此外,數據高速緩存器包含有預先定製的數據抽取工作,這些工作自動地位於一個企業的後端及數據倉庫之中。
一個高速緩存器作為企業和電子商務數據的一個單一集成點,最大限度地減少了對直接訪問後端系統和進行複雜實時集成的需求。這個高速緩存器從後端系統中卸載眾多不必要的數據請求,因此使電子商務公司可以增加更多的用戶,同時讓後端系統從事其指定的工作。
數據集成軟體與企業應用集成廠商和程序集成商進行聯合,而不是取代它們。的確,由於數據集成軟體越來越普遍地被用來作為B2B集成的一個工具,它會引人注目地改造B2B集成商一起合作的方式以及企業向Internet遷移的方式。

實施


在實施數據集成時,最重要的是要確保有相對應的業務需求。以下列出了三個業務場景:
企業集團需要統一數據
當企業產生併購的時候,你可能需要整合所有企業數據,將它們集成起來。拿Hypercity舉例,Hypercity、Shoppers Stop、Crosswords這些都是零售集團公司,我們需要把它們所有的客戶數據進行集成,以更好地服務於我們的客戶群體。
促進系統中的數據流
即在你需要集成多個數據源和應用,去實施某個業務流程的時候;比如有些業務分析工具的數據流會來自多個應用程序——商品管理系統或Oracle財務系統等等。
部署新應用時可能需要的數據集成
一項新的企業應用需要來自現有應用程序中的所有數據。還是拿Hypercity舉例,在實施送貨上門的應用之時,我們需要從現有系統中調取客戶和產品信息,這時數據集成就顯得非常重要了。
關鍵步驟:
1.與軟體廠商合作
作為企業,讓廠商正確理解你的業務需求對自己有益無害。因為只有這樣,廠商高管才能準確識別並集成所有你需要的數據點。
2.定義劃分集成優先順序
列出所有所需的數據集成任務,安排好部署計劃。你的目標應該是在部署或正式投入使用階段之前完成所有的數據集成活動,並界定增長數據的更新頻率。除此之外,還要本著成本時間的節約,根據數據集成解決方案對其效益進行估測。
3.選擇合適的集成界面
數據集成解決方案提供了兩種數據界面:單向和雙向。你需要知道應該應用哪種。
單向界面中,數據僅從A點傳送到B點,沒有返回或來回的運動。在我們的B2B平台上,供應商能夠追蹤到商店的貨運信息。庫存、付款以及銷售信息都被發送到B2B平台上,但沒有任何數據返回到這些數據源。
雙向界面中,數據從一個應用傳送到另一個應用,然後返回。在我們的平台上,如果部署了一個新的應用(如銷售點,POS),產品數據就會從商品管理系統發送到POS上,然後銷售數據又會從POS發回來。
4.選擇一款正確的介面媒體,最簡單的不一定最好
選擇介面媒體一定要考慮未來需求和升級問題。數據集成有很多種方法——XML、逗號限定、電子表格、直接資料庫連接等等;然而,最簡單的方法不一定最適合你的企業,應該從多方面進行考慮,如可擴展性需求、數據容量和預算開銷等。多年來,基於文本的集成一直很盛行,但是目前有很多企業都開始使用XML和直接資料庫連接。
5.監控流程,設置多個檢測點
對集成數據進行微調。對我們的B2B平台來說,數據集成在每天結束的時候都會進行,而只有增長的數據會被傳送到伺服器上。Hypercity的檢測點從源系統開始,分佈於各個級別。一些涉及銷售數量和零售價格的問題在這些檢測點中提出。B2B平台的提取上載階段構成了第二個檢測點,問題的答案會在這裡出現。自動化系統會檢測輸入數據的準確性。為了避免錯誤的出現,相關用戶會收到提示郵件,以確認全天的數據是不是正確上載、是不是需要糾錯措施。
6.保證數據的安全性
根據風險級別設置安全政策。如果你只是在內網中轉換數據,也許不需要加密;但如果你需要將數據對外傳送,可能就要加以防範了。

作用


數據集成對於企業信息系統的作用
數據集成的出現使企業能夠將後端的ERP信息遷移到Internet上。數據集成產品在一個公司的Internet計算機與SAP、Oracle和PeopleSoft等公司的後端系統之間提供“高速緩存”或數據分級。
數據集成提供了在一個企業主計算機上存儲的後端信息的一幅鏡像。當一個Internet客戶需要檢查一項訂單的狀態時,這項查詢就被轉移到數據集成軟體。因此,並非總需要訪問該企業的主計算機。數據集成軟體擁有足夠的智能,知道什麼時候與主計算機保持同步以便使數據不斷更新。為電子商務應用集成ERP數據是通過數據分級和直接訪問ERP數據這兩者的結合來完成的,它包括使用一個數據伺服器和一些數據高速緩存器。數據集成軟體以智能方式將直接實時的和分批的數據存取方法混和起來,以便從一個ERP系統中抽取數據。
數據從一個或多個源前進到一個或多個目標表以及信息類型(如XML),數據移動的步驟包括確定應該從中抽取數據的源、數據應當進行的轉換以及向什麼地方發送數據。用戶通過一個圖形用戶介面來指定數據映射和轉換。
由用戶定義的程序控制每一塊數據的移動並確定這種移動之間的內部相關性。例如,如果一個目標表依靠其他目標表的值,則使用一些程序來指定一個數據伺服器應當按什麼次序來管理這些目標表中的單個數據移動。數據移動可以被設計來以批量方式或實時方式運行,並由管理員來創建和管理,以控制ERP、電子商務、客戶關係管理、供應鏈管理以及通信應用之間的數據移動。數據移動使用分散式查詢優化、多線程、存儲器內數據轉換和并行流水線操作來提供很高的數據通過量和可伸縮性。例如,要管理抽取程序並從SAP軟體中來執行批量數據抽取,可使用優化的ABAP代碼(SAP的專有編程語言),不需要開發和維護定製的ABAP代碼。
介紹
Informatica Enterprise Data Integration包括Informatica PowerCenter和Informatica PowerExchange 兩大產品,憑藉其高性能、可充分擴展的平台,可以解決幾乎所有數據集成項目和企業集成方案。
·Informatica PowerCenter用於訪問和集成幾乎任何業務系統、任何格式的數據,它可以按任意速度在企業內交付數據,具有高性能、高可擴展性、高可用性的特點。Informatica PowerCenter包括4個不同版本,即:標準版,實時版,高級版,雲計算版。同時,它還提供了多個可選的組件,以擴展Informatica PowerCenter的核心數據集成功能,這些組件包括:數據清洗和匹配、數據屏蔽、數據驗證、Teradata雙負載、企業網格、元數據交換、下推優化(Pushdown Optimization)、團隊開發和非結構化數據等.
· Informatica PowerExchange 是一系列的數據訪問產品,它確保 IT 機構能夠根據需要隨時隨地訪問並在整個企業內傳遞關鍵數據。憑該能力,IT機構可以優化有限的資源和數據的業務價值。Informatica PowerExchange支持多種不同的數據源和各類應用,包括企業應用程序、資料庫和數據倉庫、大型機、中型系統、消息傳遞系統和技術標準。
注意要點
數據集成是企業進一步發展面臨的問題。通過數據模型建模和相關應用技術在企業信息集成應用上作了一定的分析。在有效應用模型設計思想開發應用的同時,應重點把握以下幾點:
(1) 模型的時效性:包括開發期模型和運行期模型,而運行期模型則顯示了模型驅動的核心思想。
(2) 模型的進化性:它揭示了模型是否可以根據應用的變化而自我進行改變。
(3) 模型的層級性:隨著系統的複雜性增加,模型可以由多層級構成。
集成挑戰
IT機構在經濟危機中面臨的數據集成挑戰
企業要平安渡過當前的經濟危機並變得愈發強大,則必須轉變為數據驅動型企業。它們需要將其企業數據視為可用來支持戰略和運營決策的寶貴資產。通過轉為數據驅動型,企業可以更為高效地運營、更好地管理風險、改善客戶服務、更快做出明智的決策並保持較低成本。
在此演進過程中,IT 機構發揮著關鍵作用。企業期望其 IT 團隊能夠隨時隨地按需提供完整、準確、一致和最新的數據。數據不僅可以有力促進在經濟低潮期“保持業務持續運轉”的關鍵方案,而且還使企業做好準備,以待將來情況改善時取得發展,獲得成功。
在經濟低潮期,IT 也面臨嚴峻挑戰。您的 IT 機構如何才能從可用資源(人力資源和技術資源)中“擠出”更多價值?面對每個項目更加嚴格的預算審查,您如何加快部署?您的團隊如何能夠始終靈活地響應不斷變化的業務需求?
簡而言之,您如何做到事半功倍(以更少資金、更少資源和更短時間應對更多項目)?面對這些挑戰,您的 IT 機構需要做好三件事:
1. 降低成本
2. 更為高效地運營
3. 最大限度發揮現有技術的價值
而實現這三個目標,IT 機構需要藉助一個全面、統一、開放且經濟的數據集成平台。
集成問題
IT 機構中的問題
企業當前的抉擇將決定它們能否順利度過眼下的金融風暴。各類企業的主管人員都在探索著:
走向全球 · 我的企業如何才能實現跨越不同區域的多樣化發展,以減少對某一經濟體的依賴?
獲得市場份額· 我的企業如何才能通過收購實現擴張,拓展宏圖?
保持至精至簡· 我的企業如何才能降低開銷,從而以機動靈活性取勝?
使企業井井有條 · 我的企業如何才能確保遵守當前和即將頒布的行業和政府法規?
這需要成千上萬個決策。但是每個業務規則的成功秘訣只有一個:及時、完整和 準確的數據。這正是需要 IT 的環節。企業期望其 IT 機構能夠隨時按要求提供業務所需的數據。
但說起來容易,做起來難。數據分散於整個企業 - 應用程序、資料庫、桌面上的 PDF、Excel 電子數據表和 Word 文檔中。它也存儲在公司防火牆之外 - 在與軟體即服務(SaaS) 和業務流程外包 (BPO) 供應商以及與貿易合作夥伴的應用程序“雲”中。
IT 機構感覺問題很棘手。每個業務規則生成一個新 IT 方案。每個新 IT 方案創建一個新 IT 項目。每個 IT 項目均需要數據 - 訪問數據、遷移和整合數據以及基本清楚數據的質量。
方法不足
傳統數據集成方法存在不足之處。它們不能解決當今 IT 環境的複雜性,也不能覆蓋 IT 必須執行的一系列方案的處理。
對於連接數百(或數千)個應用程序的不同單點解決方案,它們僅僅分裂運營數據並將其鎖定在部門應用程序中,例如 ERP 和 CRM。以應用程序為中心的數據集成方法沒有考慮所有企業數據。例如,它們不能處理計劃數據,這些計劃數據通常保存在 Excel 電子數據表中,而未保存在部門資料庫應用程序中。它們也不能解決駐留在企業外部的有關 BPO 或 SaaS 供應商的數據或與貿易合作夥伴共享的數據。
手動編碼數據集成方法也不起作用。手動編碼費時費力,並且還容易犯錯。由於 IT 機構力求管理更多的數據和更多的數據格式,手動編碼通常導致更複雜- 而不是更簡單,如圖 2 所示。它會增加維護成本並使 IT 效率下降。
在數據質量方面的表現如何?傳統數據集成方法無法保證所有數據(客戶數據、物料與資產數據以及財務數據)保持完整、一致、準確和最新,而無論數據駐留於何處。
如果您的 IT 機構繼續採用傳統方法進行數據集成,即按部門、按應用程序或按資料庫,在“孤島”中進行數據集成,那麼您將花費更多時間和金錢來管理複雜情況並“保持業務持續運轉”,而不是集中精力來處理新的業務規則。
方法特點
IT 機構需要採用可靠的新方法進行數據集成- 新方法可以:
l 集成企業內的所有內部預置數據孤島,包括非結構化數據
l 集成雲計算應用程序和系統中的外部數據
l 與貿易合作夥伴之間以企業對企業的形式無縫交換數據
l 確保所有數據的質量
l 經濟高效地管理應用程序生命周期
而在企業要求其 IT 機構處理更多數據集成項目時,它們已經在財務上嚴陣以待。如果沒有積極削減 IT 預算,企業則會更加仔細地檢查每筆開支。企業正在放緩 IT 採購周期,以做到其它方面的謹慎處理。它們正在延長部署時間,以評估總擁有成本 (TCO) 和分析潛在投資回報 (ROI)。另外,它們正在積極尋找控制成本和消除冗餘的方法。
面對這兩種相反力量的平衡,您的 IT 機構需要提高 ROI,同時降低 TCO。您可以採用三種平衡方法:
1. 提高運營效率
2. 充分利用現有技術投資
3. 降低開發和部署成本以及運營和維護的開支
IT 機構可以通過數據集成平台一次性實施所有這些方法。如圖 3 所示,數據集成平台是一整套全面的技術,包括訪問、發現、清洗、集成並為擴張的企業提供數據。
數據集成
數據集成
數據集成平台支持各種數據集成項目,例如:
l數據倉庫
l數據遷移
l 測試數據管理
l 數據存檔
l數據整合
l主數據管理
l數據同步
l B2B Data Exchange
我們將查看數據集成平台可以如何幫助您的 IT 機構:
l 降低成本
l 更為高效地運營
l 充分利用現有技術投資
降低成本
新的數據集成方法幫助企業降低成本
當今密切審核的 IT 預算使成本成為關鍵的考慮因素。單獨的集成方法,例如手動編碼或單點解決方案,乍一看好像經濟實惠,但是事實很快證明為這樣的方法提供支持費時費力。更改單個應用程序或系統將導致跨越多個集成點的連鎖反應,以致創建的結果不可靠,從而不得不進行額外的交叉檢查和手動清洗。
相比之下,數據集成平台可大為減少部署、維護和管理所需的時間和資源。易用的、基於角色的工具和可復用的開發資產庫可提高工作效率並降低部署時間。規範化的方法可消除差異,使結果更準確。高可擴展性和簡便的管理可簡化維護與升級。這等於使 IT 成本在最初以及一段時間以來均獲得一定的減少。
從僅僅是“保持業務持續運轉”轉變為“不斷開發出新項目”
數據集成平台可以幫助您的 IT 機構大大縮減成本,從而從簡單的“保持業務持續運轉”轉變為“不斷開發出新項目”。
請看示例。
假設您的 IT 機構通過數據集成平台方便的使用和管理、預建的連接性、可復用的邏輯和規則、高可擴展性和性能以及無縫升級,實現了該平台的成本節省。最終,您獲得資源和預算,以推出過去六個月一直要求您推出的單個關鍵的應用程序。
您面臨三個基本問題:
1. 如何將需要的數據從舊系統遷移到新系統,並確保按照業務要求只遷移有用的、準確的和有效的數據?
2. 在發生遷移失敗之前,如何測試是否已正確配置系統,如何測試系統是否在正常工作?
3. 如何確保您的應用程序不會隨時間而膨脹,以致需要購買更多主存儲、更多資料庫許可證和更強大處理器,以保持系統有效運行?
您的數據集成平台將是您的妙方。
首先,您需要準確定義對於從遺留應用程序遷移到新應用程序十分重要的數據。藉助數據集成平台,您可以識別舊數據和新數據結構並快速建立至新系統的映射。您可以持續使用這些映射,因為您可能要將數據快速移進或移出系統。
其次,您需要測試和配置應用程序。藉助數據集成平台,您可以只選擇最相關的業務數據,以快速複製和刷新符合您需求的特定生產數據。與創建一個完整系統/資料庫備份相比,此方法大大減少了需要的時間、精力和磁碟空間。
最後,在完全建立和運行應用程序之後,您需要將非活動數據從新應用程序遷移至安全存檔,從而在存儲、資料庫許可證和性能方面保持任務關鍵應用程序的穩定狀態。藉助數據集成平台,您可以簡便地標識和移動非活動數據,使之以聯機或離線方式長期保留,您也可以隨時訪問已存檔數據。
高效運營
新的數據集成方法幫助企業更為高效地運營
隨著企業日漸將數據管理視為業務問題,而不再僅僅是 IT 方面的考慮,將多個工具、技能集和供應商的複雜度降至最低對於工作效率的提高變得尤為關鍵。許多IT 機構都需要了解這重要的一課。它們嘗試著處理多個數據集成項目,然而,對於每個項目所採用的方法卻仍然建立在“特殊”的基礎上。由於每個項目採用不同的工具和方法,並且無法充分利用過去項目中形成和吸取的教訓,因此往往只能以成本高、複雜、冗餘和不可靠收場。
數據集成平台通過提高工作效率,幫助 IT 機構更為高效地運營。平台使 IT 不必在每個項目上做重複工作。IT 而是可以在所有項目中共享方法、技術和資產,例如邏輯和元數據。
當您在平台上標準化數據集成實踐,然後創建集成能力中心(Integration Competency Center,簡稱 ICC)或卓越中心時,您可以在集成應用程序和數據介面的開發時間與成本以及維護成本方面獲得極大節省。
數據集成還涉及許多不同角色 - 從數據管理員和業務分析師到數據架構師和 IT 開發人員- 各司其職並且各盡所能。IT 部門和業務部門需要協同工作,以便以更為快速和實惠的方式應對不斷變化的業務需求。
統一的數據集成平台讓 IT 部門和業務部門可以更加有效地協作。平台提供界面和使用感受一致的工具集,使工具集中各部分能夠在多個項目中無縫配合使用。這些工具專為各項功能定製,因此各崗位人員都能專註於他們各自的專長領域,並更為迅速地提高自身技能。參與數據集成的各人員只需花費較少時間了解平台,從而可以將更多時間投入本職工作中。
提升技術
新的數據集成方法幫助企業提升技術價值
在當前經濟環境下,每項技術投資都面臨著嚴格的審核。IT 機構需要充分利用現有技術。藉助數據集成平台,IT 機構可以繼續使用遺留的系統和應用程序,規避“淘汰和更換”所帶來的浪費和風險。
此外,數據集成平台讓 IT 團隊可以在項目間重複使用資產,從而減少 TCO 以及培訓人員和開發技能集的支出。在多個項目中採用相同的流程和方法使企業可以從小項目入手 - 例如單個數據倉庫項目- 然後根據需要輕鬆擴大範圍。首先,IT 只需採用當前項目必需的特定數據集成工具。然後,在出現新項目時,IT 利用平台的公用引擎、用戶界面和元數據以及準備就緒、訓練有素的用戶,可以經濟高效地快速接納這些新項目。
集成平台理想的數據集成平台
數據集成平台必須解決企業間數據碎片的問題,以更快地做出數據驅動型業務決策和更有效有力地進行業務運作。它必須作為企業技術基礎提供服務,提供容易掌控的方法來集成數據。
要滿足這些需求,數據集成平台必須具備四個特性:全面、統一、開放和經濟。
支持完整的數據集成生命周期
數據集成平台必須支持數據集成生命周期中的所有五個關鍵步驟:訪問、發現、清洗、集成和交付(見圖 4)。
第 1 步:訪問 大多數機構的數據存儲在數千個位置,不只限於企業內部,還存放在防火牆外的業務合作夥伴或 SaaS 供應商的“雲”中。無論何種來源或結構,所有數據都必須可以接受訪問。必須從隱秘的大型主機系統、關係資料庫、應用程序、XML、消息甚至從電子數據表之類的文檔中提取數據。
第 2 步:發現數據源- 特別是記錄不詳盡或來源未知 - 必須探查才能了解其內容和結構。需要推斷數據中隱含的模式和規則。必須標記潛在的數據質量問題。
第 3 步:清洗 必須清洗數據以確保其質量、準確性和完整性。必須解決錯誤或疏漏問題。必須強制執行數據標準,並且對值進行驗證。必須刪除重複的數據條目。
第 4 步:集成 要跨越多個系統保持一致的數據視圖,必須集成並轉換數據,以便協調不同系統在定義各種數據元素並使之結構化的方式上存在的差異。例如,對於“客戶盈利”,營銷系統和財務系統可能具有完全不同的業務定義和數據格式,這些差異必須得到解決。
第 5 步:交付 必須以適當的格式、在適當的時間將適當的數據交付給所有需要數據的應用程序和用戶。交付數據的範圍涵蓋從支持實時業務運營的單個數據元素或記錄到用於趨勢分析和企業報告的數百萬個記錄。必須確保數據的高可用性和交付安全性。
此外,數據集成平台還必須:
審計、管理和監控 數據管理員和 IT 管理員需要協作進行審計、管理和監控數據。不斷地對關鍵指標(例如數據質量)進行衡量,隨著時間的推移這些指標會得到有目共睹的穩步提高。這是為了跟蹤關鍵數據屬性的進度,並標記任何新問題,以便在將數據傳回數據集成生命周期之後,可以解決這些問題並不斷改進。
定義、設計和開發 業務分析師、數據架構師和 IT 開發人員需要一套功能強大的工具來幫助他們在定義、設計和開發數據集成規則與流程上展開合作。數據集成平台應包括一套常用的集成工具,以確保所有人員一起有效工作。實現任何數據集成項目
數據集成平台必須足夠可靠、靈活和可擴展,以處理任何一類型的數據集成項目,其中包括:
數據倉庫·
數據遷移·
測試數據管理和存檔 ·
數據整合·
主數據管理·
數據同步·
B2B Data Exchange ·
從單個部門的數據倉庫項目到全局數據遷移項目,您的 IT 機構可以一次性展開許多類型的數據集成項目。您的團隊需要能夠從小規模的一個項目類型入手,然後在接下來的項目中重複運用相同的技術和資產- 通過共享元數據實現。
數據集成平台需要能夠處理分析數據集成(報告和分析),還要能夠處理運營數據集成(與運營執行相關的業務流程)。
以任何周期提供數據
對於數據集成,存在跨度很廣的一系列時間範圍和周期要求,這取決於應用程序和使用案例。某些項目要求按月或按周集成數據;而另外一些項目需要按秒提供集成的數據。IT 機構需要能夠靈活更改周期要求,而不必重新構建整個基礎結構。
如圖 5 所示,理想的數據集成平台必須在整個周期範圍內提供支持、根據應用程序或用戶需要隨時提供可信任的數據- 無論以實時、批量還是變更數據捕獲 (CDC)的方式。
統一
單個的統一數據集成平台可大大簡化 IT 團隊的工作。當您具備擴展型企業(從單一供應商發展成)所需的所有數據集成能力時,您通過基於角色的協作、共享元數據和單一的統一運行時引擎,最大限度地提高了工作效率。
基於角色的協作
數據集成項目包括充當多個角色的 IT 和業務人員。每個角色都需要一套特別為其設計的不同工具。同時,項目團隊成員必須精誠合作、共同承擔工作和任務,以提高跨團隊的工作效率並確保 IT 和業務部門的協調。
如圖 6 所示,理想的數據集成平台提供角色專用的工具,這些工具專門針對每人的技能和任務而設計。這些角色專用的工具擁有一致的界面。這些工具擁有相同的界面和使用感受,並且相互集成。因此,它們易學易用。通過跨越不同數據集成項目重複使用資產,團隊成員能夠快速啟動運行並保持高效。
共享元數據
數據集成平台必須提供共享的元數據。平台內的每個工具必須能夠訪問有關數據存儲位置的元數據以及與其關聯的業務規則和邏輯。藉助共享的元數據,大家可以共同處理同一件事。分析師和開發人員可以處理不同類型的元數據或者用不同方式查看相同的元數據,並仍然保持有效協作。元數據保持一致,並且每個用戶均能輕鬆查看潛在的更改會帶來的影響。
統一的運行時引擎
數據集成平台的關鍵是單個的運行時引擎。組成平台的各個單獨的產品應全都在簡化實施、管理和維護的相同引擎上運行。單個引擎確保可以更為方便地升級多個版本。平台必須為企業級部署而設計,具備可靠的可擴展性、可用性和安全性,這樣您可以在該平台上放心開展業務。
開放
開放、中立的數據集成平台旨在能夠在您當前的 IT 環境中兼容一切 -您的硬體、軟體、技術標準,以及未來您要添加的任何內容。開放的平台能保護您的企業免受有關供應商瓶頸的風險。
訪問任何來源的數據
大多數機構以數百種不同格式來存儲數據:企業應用程序、資料庫、平面文件、消息隊列、電子數據表和其它文檔。如圖 7 所示,數據集成平台必須處理任何數據類型或格式,包括任何來源的結構化和非結構化數據和所有主數據類型,例如客戶數據、產品數據和財務數據。
數據集成平台必須能夠訪問駐留在企業外部的數據。這包括來自多個業務實體的數據和分佈在許多不同地理位置和國家/地區的數據。
降低風險
IT 格局正在改變。這導致不確定性。IT 機構需要採用策略來降低這種變化帶來的風險。您需要一個數據集成平台,它支持從操作系統到資料庫的當前所有技術標準。它必須是開放式的,確保能夠與現有或將來可能配置的一切內容兼容。這包括在您的企業與“雲”中或合作夥伴的全部各種應用程序和數據源。
經濟
經濟的數據集成平台能夠帶來儘可能低的總擁有成本 (TCO) 和最快最高的投資回報 (ROI)。在當前嚴峻的經濟環境下,每筆技術投資都要接受嚴格審查,評估其幫助 IT 機構和業務的能力,因此這些因素顯得特別重要:
降低成本 ·
更為高效地運營 ·
快速產生價值 ·
更低的總擁有成本
數據集成平台必須提供易用的工具和可靠的可擴展能力與性能,以縮減前期費用、削減持續的維護和管理成本並快速產生價值。企業可以部署用於特定數據集成項目的平台,然後對平台進行擴展,用其解決其它項目,而不必在其它工具或培訓上破費。簡而言之,數據集成平台能讓您的 IT 機構事半功倍。
更快的投資回報
在數據集成平台中獲得快速的投資回報取決於您能否迅速行動並投入使用。您需要增加 IT 資源。
了解 Informatica 的開發人員比了解市場上其它任何數據集成軟體的開發人員多三倍以上。因此,尋找熟練且實惠的 Informatica 資源來幫助您完成項目會比較容易。加快投資回報的另一個方法是創建集成能力中心,以在整個企業範圍內支持更多集成方案。
應用平台
應用中的Informatica 平台
現在讓我們查看 Informatica 平台如何幫助不同行業和地理位置的四家公司提高工作效率、最大化技術投資效益並降低成本。
T. Rowe Price 是一家跨國投資管理公司,以範圍廣泛的共有基金形式持有超過 3340 億美元的資產。隨著金融行業變得愈加複雜、競爭更為激烈、監管更為嚴格,公司需要更為有效地管理更多數據。為改善客戶服務、確保一致的 IT 環境並符合數據治理法規,T. Rowe Price 決定創建由 Informatica 平台提供支持的 ICC。公司制定出標準、安全策略和發布方法,然後創建了數據管理程序,以從業務和 IT 部門招集參與者。從數據倉庫開始,公司將 Informatica 平台的使用逐步擴大到其它集成項目。最終,T. Rowe Price 取得這些成果:
1. 更高的員工效率。IT 團隊在首年即同時啟動 12 個數據集成項目。到第五年,此記錄已增加到一次性處理 60 個項目。
2. 使技術投資發揮到極致。通過將流程和過程標準化來促進重複使用已實現高達 ICC 團隊自身成本的兩倍以上的累計效益和成本節省。
3. 降低成本。T. Rowe Price 使用 Informatica 平台,在第二年即已開始實現收回成本后的凈效益,五年間更是實現了可觀的效益。大多數節省額歸功於削減新開發、持續的編碼維護和影響分析的成本。
Duke Energy 在 2006 年與一個競爭對手合併,成為美國最大的電力控股公司之一,擁有分佈在卡羅來納州肯塔基州、俄亥俄州和印第安納州的超過 400 萬客戶。隨著合併完成,公用事業公司緊接著需要整合廣為分散的多個不同數據集。它還需要確保具有保持高效運營所必需的一致、準確和及時的業務信息。
Duke Energy 求助於 Informatica 平台來創建最佳實踐、削減成本並加快上市。通過消除點對點介面並創建集成的數據管理體系結構,公司順利完成合併,並為未來的計收購鋪好道路。
依靠 Informatica 平台,Duke Energy 能夠:
1. 提高運營效率。通過可以從公司交易系統中刪除數據管理和報告的單個數據集成平台,Duke Energy 可以更為迅速地為經理們提供各種類型數據的高級視圖。它還完成了更多的項目:僅在部署后的前六個月,就已檢查 31 個項目,實施 8 個項目。
2. 使技術投資發揮最大效益。由於 Informatica技術平台專為與廣泛的各種源系統兼容而設計,因此 Duke Energy 可以輕鬆擴展以整合未來合併所帶來的數據,而無需中斷業務報告。
3. 降低成本。Duke Energy 每年將從整合、集中化和縮減運營成本中節省 150 萬美元。此外,它還有望在接下來的兩年中節省額外 300 萬美元的運營和維護費用,而完成下一次合併收購所需的成本預計將比上一次少一半。KPN 是西歐一家市值 195 億美元的電話、網際網路和電視服務提供商,主要在荷蘭、德國和比利時開展業務。這家通信公司要為其超過 3500 萬的客戶提供優質服務 - 但是各類客戶數據存儲在 50 多個獨立的應用程序中,銷售和服務代表無法始終了解他們交談的對象,更無法考慮如何為這些客戶提供幫助或額外服務。為改善客戶服務並提高運營效率,KPN 決定將跨越多個業務單位的所有客戶數據與按功能分隔的系統集成起來。作為 Informatica 的長期客戶,KPN 決定擴展 Informatica 平台,以清洗、同步和載入其所有主數據到新的 CRM 解決方案。
藉助 Informatica,KPN 員工現在已擁有唯一的、全面的、保持最新並呈現每位客戶關係的視圖。最終,公司達到這些目標:
1. 更高效率。由於可以在呼叫中心快速訪問準確的實時數據,因此客戶服務代表可以少用 10% 的時間來處理每個電話,並且仍然可以更為有效地開展交叉銷售和提升銷售,工作效率提高 5%,而從每位用戶獲得的平均收入增加 5%。
2. 更高技術投資回報。由於 KPN 曾在企業的其它地方使用 Informatica 平台,因此KPN 只需將平台簡單擴展到新項目。KPN 可以按時、按預算地輕鬆完成 CRM 實施,從而快速實現價值。
3. 降低成本。對詳細客戶數據的實時訪問使 KPN 能夠將客戶流失每年降低 10%。此外,改善數據質量並使之自動化降低了 IT 維護費用。
企業目標
IT 機構轉變成數據驅動型企業的目標
那些成功抵禦經濟衰退期的企業都是能隨機應變應對局勢變化的企業。在競爭格局、市場和經濟發生變化時,這些企業能夠迅速採取行動並充分利用機遇。
這些企業需要數據 - 在適當的時間獲得擁有毋庸置疑的質量的合適數據。依 Gartner 所見,“信息的戰略使用決定企業競爭和獲勝的能力。 2這些企業在很大程度上需要依賴它們的 IT 機構。IT 部門在幫助其企業轉為數據驅動型企業方面扮演著關鍵角色。全面、統一、開放和經濟的數據集成平台使 IT 部門能夠應付自如。這樣的數據集成平台為更高效、有效和實惠的數據訪問提供了堅實的基礎。它是及時、可信任數據流的生命線。這讓 IT 機構能夠支持企業度過經濟低潮期,使企業在經濟好轉時更為強大、更為靈活並更具有競爭力。
通過讓您的 IT 機構實現以下目標,Informatica 平台可以幫助您轉變為數據驅動型企業:
· 訪問、發現、清洗、集成並為擴張的企業及時提供可信任的數據- 隨時隨地提供任何數據
· 支持數據集成流程中涉及的所有角色
· 處理所有類型的數據集成和數據質量項目
· 與現有和將來可能添加的所有系統和流程兼容
經過成千上萬個實際部署驗證,Informatica 平台確實能夠幫助 IT 機構降低成本、提高效率並為企業帶來更多價值。