hdfs를 운영하다 보면 은근히 Eco System별로 로그를 관리해야할 때가 많다. 가장 관리를 필요하는 부분이 아무래도 audit Log가 많이 발생되는 hdfs인 경우가 많을 것이다. /var/log/hadoop/hdfs -rw-r--r-- 1 hdfs hadoop 15K Sep 5 10:33 hdfs-audit.log.2016-09-05 -rw-r--r-- 1 hdfs hadoop 25K Oct 11 12:01 hdfs-audit.log.2016-10-11 -rw-r--r-- 1 hdfs hadoop 343K Nov 7 20:44 hdfs-audit.log.2016-11-07 -rw-r--r-- 1 hdfs hadoop 38K Nov 8 13:41 hdfs-audit.log.2016-11-08 -..
hadoop 클러스터를 운영중에 datanode가 내려가서 재시작을 해보니 다음과 같은 메세지가 나온다 /usr/lib/python2.6/site-packages/resource_management/core/environment.py:165: DeprecationWarning: BaseException.message has been deprecated as of Python 2.6 Logger.info("Skipping failure of {0} due to ignore_failures. Failure reason: {1}".format(resource, ex.message)) stdout: 2017-01-05 14:13:19,719 - The hadoop conf dir /usr/hdp/current/..
예전에 데이터야 놀자에서 Lighting Talk로 발표한 내용이다. 클러스터 통합 / 분리는 활용도와 관리상에 있어서 여러가지 쟁점이 있는 부분이라;; 딱히 정답이라 할만한 요소는 없다 하지만 꾸준한 Version up 및 bug fix등등의 이유로 patch 및 Upgrade는 필수라고 생각한다. 활용처에 따라 다양한 방법이 활용될 수 있다. http://www.slideshare.net/ssuser39d504/mutil-tentant-hadoop-clutster