国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 應用 > 軟件技巧 > 正文

hadoop入門之namenode工作特點介紹

2024-07-16 17:45:46
字體:
來源:轉載
供稿:網友

namenode始終在內存中保存metedata(整個文件系統的目錄結構,每個目錄有哪些文件,每個文件有哪些分塊及每個分塊保存在哪個DataNode上),用于處理“讀請求”(不需要修改內容)
到有“寫請求”到來時,namenode會首先對metedata修改的內容寫editlog到磁盤(每一次改變都會同步到磁盤。),成功返回后,才會修改內存,并且向客戶端返回。客戶端在寫數據到每個datanode中。namenode在將metadata寫到editlog的時候會同步到磁盤。

Hadoop會維護一個fsimage文件,也就是namenode中metedata的鏡像,但是fsimage不會隨時與namenode內存中的metedata保持一致(因為非常大),而是每隔一段時間通過合并editlog來更新內容。Secondary namenode就是用來更新fsimage的 

secondary namenode的工作流程

1.Secondary通知primary切換editlog(目的合并editlog)
2.Secondary從primary獲得fsimage和editlog(通過http)
3.Secondary將fsimage載入內存,然后開始合并editlog
4.Secondary將新的fsimage發回給primary
5.Primary用新的fsimage替換舊的fsimage

什么時候checkpiont?
fs.checkpoint.period 指定兩次checkpoint的最大時間間隔,默認3600秒。
fs.checkpoint.size 規定edits文件的最大值,一旦超過這個值則強制checkpoint,不管是否到達最大時間間隔。默認大小是64M。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 马山县| 林芝县| 淮安市| 崇阳县| 水城县| 潞西市| 分宜县| 武功县| 昆山市| 安丘市| 长泰县| 石林| 休宁县| 林甸县| 平定县| 利川市| 兴城市| 鹤峰县| 炎陵县| 鹰潭市| 尉犁县| 海口市| 阜南县| 丁青县| 安义县| 仁怀市| 库车县| 桦甸市| 灌云县| 牡丹江市| 水富县| 页游| 浑源县| 道真| 广宗县| 泽州县| 罗山县| 萨嘎县| 韶关市| 白河县| 金昌市|