1. 개요 : Node를 추가하고 Balancer를 돌리려고 하니.. 아래와 같은 메세지와 함께 hdfs Balancer가 동작하지 않는다. 기존에는 동작했지만.. HA 구성하고 나니 동작하지 않는 걸 봐서는 문제가 있는 부분 같다. 2. 환경 HDP - 2.3.2.0 Ambari - 2.1.2 3. 메세지 :[hdfs@slave1 ~]$ hdfs balancer 15/11/20 11:46:10 INFO balancer.Balancer: namenodes = [hdfs://mycluster, hdfs://mycluster:8020] 15/11/20 11:46:10 INFO balancer.Balancer: parameters = Balancer.Parameters [BalancingPolicy.Node,..
1. 개요 : oozie coordinator에서 file Retry action이 필요할 경우가 있다. 간혹 Version마다 차이가 있지만 ( ex) CDH or HDP or Apache ) 다수의 잡을 실행시킬 경우, Retry Time이 지켜지지 않는 경우가 종종 있다. 2. oozie-site.xml : 아래의 변수를 확인한다. oozie.service.coord.default.max.timeout --> default value는 86400 (second ) 이 값은 oozie에서 Control하는 시간의 총 합이라고 생각하면 된다. 3. Example : 만약 Job 마다 5 minute 씩 Wait를 하게 하고.. 그런 Job 이 20개라 가정하면 total wait --> 20 x 5 x..
1. 개요 : network 사정마다 다르지만.. Balancer는 Yarn으로 Summit되지 않고, 자체적으로 Bandwidth을 사용하여, 돌기 때문이지 Balancing에 굉장히 시간이 오래 걸린다. 2. 설정 : hdfs-site.xml의 fs.datanode.balance.bandwidthPerSec의 값을 확인해보면.. 약 6MB로 되어 있었다. ( 각자 셋팅을 확인 할 것 ) 3. 해결 : Bandwidth를 변경하고, conf값을 변경하는 것이 부담스럽다면, 다음과 같이 Command를 통해 진행한다. --> Balancer작업이 빈번하게 일어나게 일어나는 작업은 아니지만, 빈도로 그 결정한다. 4. Command : hdfs dfsadmin -setBalancerBandwidth [ B..
hdfs를 운영하다 보면 은근히 Eco System별로 로그를 관리해야할 때가 많다. 가장 관리를 필요하는 부분이 아무래도 audit Log가 많이 발생되는 hdfs인 경우가 많을 것이다. /var/log/hadoop/hdfs -rw-r--r-- 1 hdfs hadoop 15K Sep 5 10:33 hdfs-audit.log.2016-09-05 -rw-r--r-- 1 hdfs hadoop 25K Oct 11 12:01 hdfs-audit.log.2016-10-11 -rw-r--r-- 1 hdfs hadoop 343K Nov 7 20:44 hdfs-audit.log.2016-11-07 -rw-r--r-- 1 hdfs hadoop 38K Nov 8 13:41 hdfs-audit.log.2016-11-08 -..
hadoop 클러스터를 운영중에 datanode가 내려가서 재시작을 해보니 다음과 같은 메세지가 나온다 /usr/lib/python2.6/site-packages/resource_management/core/environment.py:165: DeprecationWarning: BaseException.message has been deprecated as of Python 2.6 Logger.info("Skipping failure of {0} due to ignore_failures. Failure reason: {1}".format(resource, ex.message)) stdout: 2017-01-05 14:13:19,719 - The hadoop conf dir /usr/hdp/current/..
예전에 데이터야 놀자에서 Lighting Talk로 발표한 내용이다. 클러스터 통합 / 분리는 활용도와 관리상에 있어서 여러가지 쟁점이 있는 부분이라;; 딱히 정답이라 할만한 요소는 없다 하지만 꾸준한 Version up 및 bug fix등등의 이유로 patch 및 Upgrade는 필수라고 생각한다. 활용처에 따라 다양한 방법이 활용될 수 있다. http://www.slideshare.net/ssuser39d504/mutil-tentant-hadoop-clutster
요즘 여기저기서 Micro Service라는 용어가 자주 들려온다. 뭔가.. 하고 찾아보니 다음과 같다. 즉 기존의 서비스 아키텍쳐의 의존성을 제거하기 위한 독립적인 서비스를 업무단위로 제공하고, 별개 관리한다는 의미로 볼 수 있다. 프로젝트 단위가 아닌 working group별로 개발 및 운영이 가능하니 의존성 제거 및 신기술 도입에 좀 더 유용할 수 있다고 생각한다 . 예로 기존 서비스가 Java로 개발되어 있다면 다른 언어/프레임워크 ( ex) node.js / bootstrap ) 등으로 이관되기 어렵지만 쉽게 확장이 가능하며, 기존 서비스와 의존성은 API로만 관리하면 된다. 단점은 여러가지를 생각해볼 수 있지만 첫번 째로 Database session관리 / 운영관리 / Polyglot하게 ..