hdfs를 운영하다 보면 은근히 Eco System별로 로그를 관리해야할 때가 많다. 가장 관리를 필요하는 부분이 아무래도 audit Log가 많이 발생되는 hdfs인 경우가 많을 것이다. /var/log/hadoop/hdfs -rw-r--r-- 1 hdfs hadoop 15K Sep 5 10:33 hdfs-audit.log.2016-09-05 -rw-r--r-- 1 hdfs hadoop 25K Oct 11 12:01 hdfs-audit.log.2016-10-11 -rw-r--r-- 1 hdfs hadoop 343K Nov 7 20:44 hdfs-audit.log.2016-11-07 -rw-r--r-- 1 hdfs hadoop 38K Nov 8 13:41 hdfs-audit.log.2016-11-08 -..
hadoop 클러스터를 운영중에 datanode가 내려가서 재시작을 해보니 다음과 같은 메세지가 나온다 /usr/lib/python2.6/site-packages/resource_management/core/environment.py:165: DeprecationWarning: BaseException.message has been deprecated as of Python 2.6 Logger.info("Skipping failure of {0} due to ignore_failures. Failure reason: {1}".format(resource, ex.message)) stdout: 2017-01-05 14:13:19,719 - The hadoop conf dir /usr/hdp/current/..