TOP

HDFS的NameNode功能
2019-03-10 12:18:43 】 瀏覽:1690
Tags:

NameNode主要功能:

1、NameNode主要功能:接受客戶端的讀寫服務

2、NameNode保存metadata信息:

- 文件owership和permissions

- 文件包含哪些塊

- Block保存在那個DataNode上(DameNode啟動的時候主動把block匯報給NameNode)。

3、NameNode的metadata信息會在啟動后加載到內存中:

- metadata存儲到磁盤文件名為"fsimage"(做持久化操作优乐棋牌app下载,存儲文件owership和permissions和文件包含哪些塊)

- Block的位置信息不會保存到fimage

- edits(日志)記錄對metadata的操作日志中(在持久化操作的間隔中使用的)

SecondaryNameNode(hadoop1.0版本存在)介紹:

1、它不是NameNode的備份(但可以做備份),它的主要工作時幫助NameNode合并edits日志和fimage,

減少NameNode啟動時間。

2、SNN執行合并時機

- 根據配置文件設置的時間間隔 fs.checkpoint.period 默認3600秒。

- 根據配置文件設置edits日志大小 fs.checkpoint.size 規定edits文件的最大默認值64MB。

DataNode介紹:

1、存儲數據(block)

2、啟動DataNode線程的時候會向NameNode匯報block信息。

3、通過向NameNode發送心跳保持與其聯系(3秒一次),如果NameNode10分鐘沒有收到DataName的心跳,

則認為其已經lost,并copy其上的block到其他DataName上。

請關注公眾號獲取更多資料



】【打印繁體】【】【】 【】【】【】 【關閉】 【返回頂部
上一篇Hadoop _ Hdfs   java.io.IO.. 下一篇sqoop   把 hdfs 和關系型數..