下面是一張生態(tài)圖，主要的組件都是為了方便大家從底層的MapReduce模型中脫離出來(lái)，用高層語(yǔ)言來(lái)做分布式計(jì)算，下文將分別為你作簡(jiǎn)述。

1、HBase

是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化數(shù)據(jù)集群。像Facebook，都拿它做大型實(shí)時(shí)應(yīng)用。

2、Hive

Facebook領(lǐng)導(dǎo)的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供完整的sql查詢功能，可以將sql語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過(guò)類SQL語(yǔ)句快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce統(tǒng)計(jì)。像一些data scientist 就可以直接查詢，不需要學(xué)習(xí)其他編程接口。

3、Pig

Yahoo開(kāi)發(fā)的，并行地執(zhí)行數(shù)據(jù)流處理的引擎，它包含了一種腳本語(yǔ)言，稱為Pig Latin，用來(lái)描述這些數(shù)據(jù)流。Pig Latin本身提供了許多傳統(tǒng)的數(shù)據(jù)操作，同時(shí)允許用戶自己開(kāi)發(fā)一些自定義函數(shù)用來(lái)讀取、處理和寫數(shù)據(jù)。在LinkedIn也是大量使用。

4、Cascading/Scalding

Cascading是Twitter收購(gòu)的一個(gè)公司技術(shù)，主要是提供數(shù)據(jù)管道的一些抽象接口，然后又推出了基于Cascading的Scala版本就叫Scalding。Coursera是用Scalding作為MapReduce的編程接口放在Amazon的EMR運(yùn)行。

5、Zookeeper

一個(gè)分布式的，開(kāi)放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是Google的Chubby一個(gè)開(kāi)源的實(shí)現(xiàn)。

6、Oozie、Hadoop

一個(gè)基于工作流引擎的開(kāi)源框架。由Cloudera公司貢獻(xiàn)給Apache的，它能夠提供對(duì)MapReduce和Pig Jobs的任務(wù)調(diào)度與協(xié)調(diào)。

7、Azkaban

跟上面很像，Linkedin開(kāi)源的面向Hadoop的開(kāi)源工作流系統(tǒng)，提供了類似于cron 的管理任務(wù)。

8、Tez

Hortonworks主推的優(yōu)化MapReduce執(zhí)行引擎，與MapReduce相比較，Tez在性能方面更加出色。