티스토리 뷰
hdfs를 운영하다 보면 은근히 Eco System별로 로그를 관리해야할 때가 많다.
가장 관리를 필요하는 부분이 아무래도 audit Log가 많이 발생되는 hdfs인 경우가 많을 것이다.
/var/log/hadoop/hdfs
-rw-r--r-- 1 hdfs hadoop 15K Sep 5 10:33 hdfs-audit.log.2016-09-05
-rw-r--r-- 1 hdfs hadoop 25K Oct 11 12:01 hdfs-audit.log.2016-10-11
-rw-r--r-- 1 hdfs hadoop 343K Nov 7 20:44 hdfs-audit.log.2016-11-07
-rw-r--r-- 1 hdfs hadoop 38K Nov 8 13:41 hdfs-audit.log.2016-11-08
-rw-r--r-- 1 hdfs hadoop 1.7G Dec 1 23:59 hdfs-audit.log.2016-12-01
-rw-r--r-- 1 hdfs hadoop 7.4G Dec 2 23:59 hdfs-audit.log.2016-12-02
-rw-r--r-- 1 hdfs hadoop 23G Dec 3 23:59 hdfs-audit.log.2016-12-03
-rw-r--r-- 1 hdfs hadoop 16G Dec 4 23:59 hdfs-audit.log.2016-12-04
위를 보면 작업이 많은날의 Audit Log가 기하급수적으로 상승한 것으로 보인다.
로그 디렉토리를 잘못관리했다가는 시스템이 다운될 수 있기 때문에 지속적인 관리가 필요하다;
일단 필요하지 않은 수준이라면 Log4j의 로그 수준을 제한하자.
${hadoop_conf_dir}/log4.properties에서 해당 부분을 수정하고 restart하여 재반영하자
INFO에서 WARN or ERROR로 수정하자
'Bigdata > hdfs' 카테고리의 다른 글
[Hadoop Operation] Balancer not working in hdfs HA (0) | 2017.01.09 |
---|---|
[Hadoop Operation] HDFS Balancer bandwidth 변경 (0) | 2017.01.09 |
Datanode read-only disk start failture (0) | 2017.01.06 |
댓글