數據湖架構

儘管IT部門起初更多擔憂的是數據湖的成本，但數據持久性和安全卻是需要優先考慮的因素。很多選擇都能交付一個合理的成本，但並非所有都能滿足數據湖的長期存儲需求。挑戰就在於數據湖中很多數據永遠不會刪除。這種數據的價值在於它要那來分析以及和年復一年的數據進行比對，這將抵消其容量成本。

這就是所謂的數據持久性——對於那種一經存儲未來5-10年都有價值的數據，它必須是可讀的。所有形式的介質都將隨時間推移降級。數據湖存儲系統必須通過持續的檢查避免這種降級。如果發現有損壞或降級的數據集，系統就會利用複製或糾刪碼製造副本。

在數據湖架構中，信息安全作為另一項挑戰往往被人忽視。相比於其它，這種類型的存儲安全要更加重要。數據湖架構從定義上看是將所有的雞蛋放在一個籃子中。而如果其中一個存儲庫的安全被破壞，那麼未知方將可能訪問所有數據。很多數據都以已於讀取的格式存儲，像是JPEG、PDF文件——如果你的數據湖架構不夠安全，那麼信息損失很容易。

因此建議實現多個級別的安全控制，例如：

加密數據湖中所有數據。由數據類別和單獨的鍵值生成的加密將有效的限制數據泄漏，並不影響應用訪問。

數據湖中所有數據副本應離線存儲於另一位置。