pig

Apache Pig 是一個高級過程語言，適合於使用 Hadoop 和 MapReduce 平台來查詢大型半結構化數據集。通過允許對分散式數據集進行類似 SQL 的查詢，Pig 可以簡化 Hadoop 的使用。

用MapReduce進行數據分析。當業務比較複雜的時候，使用MapReduce將會是一個很複雜的事情，比如你需要對數據進行很多預處理或轉換，以便能夠適應MapReduce的處理模式。另一方面，編寫MapReduce程序，發布及運行作業都將是一個比較耗時的事情。Pig的出現很好的彌補了這一不足。Pig能夠讓你專心於數據及業務本身，而不是糾結於數據的格式轉換以及MapReduce程序的編寫。本質是上來說，當你使用Pig進行處理時，Pig本身會在後台生成一系列的MapReduce操作來執行任務，但是這個過程對用戶來說是透明的。