HDFS模塊功能

• namenode：主節點，存儲文件的元數據如文件名、文件目錄結構、文件屬性（生成時間、副本數、文件權限）、以及每個文件的塊列表和塊所在的datanode等；
• datanode：在本地文件系統存儲文件塊數據，以及塊的校驗和；
• secondary namenode：用來監控HDFS狀態的輔助后臺程序，每隔一段時間獲取HDFS元數據的快照；

YARN模塊功能

ResourceManager：

1. 處理客戶端請求；
2. 啟動/監控applicationMaster；
3. 監控NodeManager；
4. 資源分配和調度；

NodeManager：

1. 單個節點的資源管理；
2. 處理來自ResourceManager的命令；
3. 處理來自ApplicationManager的命令；

ApplicationMaster：

1. 數據切分；
2. 為應用程序申請資源，并分配給內部任務；
3. 任務監控和容錯；

Container：

• 對任務運行環境的抽象，封裝了CPU、內存等多維資源以及環境變量、啟動命令等任務運行相關信息；

MR模塊功能

... ...

日志

• 啟動日志文件目錄 $HADOOP_HOME/logs;
• 日志格式 .out和.log

　　　　.log:通過log4j記錄的，大部分的應用日志信息；

　　　　.out:記錄標準輸出和標準錯誤日志，少。

• 　日志命名規則

　　　　框架名稱-用戶名-進程名-主機名-日志格式后綴

目錄sbin里面的啟動腳本中有hadoop-daemon.sh、yarn-daemon.sh和hadoop-daemons.sh、yarn-daemon.sh

它們有什么區別呢？

hadoop-daemon.sh分別啟動每個進程，在slave上也要手動去敲命令

而hadoop-daemon.sh只需要在namenode中就可以，它從配置文件中獲取所有的slave，然后遠程上去調用hadoop-daemon.sh啟動單個進程。

yarn-daemon.sh也一樣。

歷史服務器

1.x中有jobtracker，2.x中沒有，那怎么從web ui中查看歷史作業運行情況呢？

那就是historyserver。

默認情況下歷史服務器不啟動

啟動命令和關閉命令

• sbin/mr-jobhistory-daemon.sh start historyserver
• sbin/mr-jobhistory-daemon.sh stop historyserver

web UI地址： http://master:19888/

在2.X中多了一種針對MR小作業的優化機制：Uber模式

在運行一個作業的時候會有一條輸出語句為Job job_xxxxxx_xxxx running in uber mode:false/true

如果作業足夠小，則所有的task在一個JVM（mr app master）中完成作業，比每個task啟動一個container更劃算

手動設置參數：maPReduce.job.ubertask.enable 默認為 false

notepad+FZ+SecureCRT這個組合還不錯