hdfs-audit Log4j 설정

hdfs를 운영하다 보면 은근히 Eco System별로 로그를 관리해야할 때가 많다. 

가장 관리를 필요하는 부분이 아무래도 audit Log가 많이 발생되는 hdfs인 경우가 많을 것이다. 

/var/log/hadoop/hdfs

 
-rw-r--r-- 1 hdfs hadoop  15K Sep  5 10:33 hdfs-audit.log.2016-09-05
-rw-r--r-- 1 hdfs hadoop  25K Oct 11 12:01 hdfs-audit.log.2016-10-11
-rw-r--r-- 1 hdfs hadoop 343K Nov  7 20:44 hdfs-audit.log.2016-11-07
-rw-r--r-- 1 hdfs hadoop  38K Nov  8 13:41 hdfs-audit.log.2016-11-08
-rw-r--r-- 1 hdfs hadoop 1.7G Dec  1 23:59 hdfs-audit.log.2016-12-01
-rw-r--r-- 1 hdfs hadoop 7.4G Dec  2 23:59 hdfs-audit.log.2016-12-02
-rw-r--r-- 1 hdfs hadoop  23G Dec  3 23:59 hdfs-audit.log.2016-12-03
-rw-r--r-- 1 hdfs hadoop  16G Dec  4 23:59 hdfs-audit.log.2016-12-04

위를 보면 작업이 많은날의 Audit Log가 기하급수적으로 상승한 것으로 보인다. 

로그 디렉토리를 잘못관리했다가는 시스템이 다운될 수 있기 때문에 지속적인 관리가 필요하다; 

일단 필요하지 않은 수준이라면 Log4j의 로그 수준을 제한하자. 

${hadoop_conf_dir}/log4.properties에서 해당 부분을 수정하고 restart하여 재반영하자 

INFO에서 WARN or ERROR로 수정하자