TOP

CDH5.14定期清理指南
2019-02-20 00:07:13 】 瀏覽:1290
Tags:

版權聲明:本文為博主原創文章,出處為 http://blog.csdn.net/silentwolfyh https://blog.csdn.net/silentwolfyh/article/details/53995576

目錄:

1、將HDFS備份數降低

2、刪除無用HDFS數據和Hbase表格

3、設置kafka的日志時間

4、刪除本機無用文件

5、清理Trash回收站

6、Balancer重新平衡

7、Cloudera監控日志清理



1、將備份數降低
1)將默認的備份數3設置為2。
步鄹:CDH–>HDFS–>配置–>復制因子–>設置為2
這里寫圖片描述
2)執行命令: hadoop fs -setrep 2 path(記住為根目錄 / )
3)重啟hdfs
4)結果如下:
這里寫圖片描述

2、刪除無用HDFS數據和Hbase表格
查看HDFS上面文件每個文件大小

hdfs dfs -du -h /

這里寫圖片描述

可以刪除的文件

hdfs dfs -du -h /user/spark/applicationHistory
hdfs dfs -rmr /user/root/.Trash

3、設置kafka的日志時間
這里寫圖片描述

4、刪除本機無用文件
下面是我寫的一個shell腳本,可以查看所有目錄和文件的大小,將大的無用文件刪除

#!/bin/bash
path=$1
dir=$(ls -l $path |awk '/^d/ {print $NF}')
for i in $dir
do
    du -sh $path/$i
done  

這里寫圖片描述

這里寫圖片描述

5、清理Trash回收站
HDFS 的Trash回收站功能的配置、使用

**6、Balancer重新平衡 **
1)集群運行一段時間后各個節點的磁盤使用率可能會產生較大的差異,這時可以用balancer來重新平衡各個節點。

2)首先調大balancer的帶寬 Hadoop dfsadmin -setBalancerBandwidth 52428800 ,這里設置為50MB。默認的帶寬較小,防止占用太多資源。若需要快速平衡可以將帶寬調為一個較大的值。

3)接著啟動balancer。可以在CM里啟動(hdfs-balancer-示例-操作-重新平衡),也可以命令啟動(hadoop balancer [-threshold ])。
這里寫圖片描述

這里寫圖片描述

7、Cloudera監控日志清理

裝cm的機器:/var/lib 路徑下有如下文件:有時候根目錄空間不夠
在這里插入圖片描述
在這里插入圖片描述
解決方法一:主要清理cloudera-host-monitor 、cloudera-service-monitor
這兩個文件下子目錄帶ts兩個字母的目錄下都會有partitions优乐棋牌app下载,直接清掉就ok
例:subject_ts、ts_subject、ts等帶有ts的目錄(慎重啊)

解決方法二:firehose.storage.base.directory优乐棋牌app下载,將路徑設置到其余文件下
在這里插入圖片描述

請關注公眾號獲取更多資料



】【打印繁體】【】【】 【】【】【】 【關閉】 【返回頂部
上一篇Hadoop-->HDFS原理總結 下一篇Hadoop-->HDFS原理總結