1. 개요 : Node를 추가하고 Balancer를 돌리려고 하니.. 아래와 같은 메세지와 함께 hdfs Balancer가 동작하지 않는다. 기존에는 동작했지만.. HA 구성하고 나니 동작하지 않는 걸 봐서는 문제가 있는 부분 같다. 2. 환경 HDP - 2.3.2.0 Ambari - 2.1.2 3. 메세지 :[hdfs@slave1 ~]$ hdfs balancer 15/11/20 11:46:10 INFO balancer.Balancer: namenodes = [hdfs://mycluster, hdfs://mycluster:8020] 15/11/20 11:46:10 INFO balancer.Balancer: parameters = Balancer.Parameters [BalancingPolicy.Node,..
1. 개요 : oozie coordinator에서 file Retry action이 필요할 경우가 있다. 간혹 Version마다 차이가 있지만 ( ex) CDH or HDP or Apache ) 다수의 잡을 실행시킬 경우, Retry Time이 지켜지지 않는 경우가 종종 있다. 2. oozie-site.xml : 아래의 변수를 확인한다. oozie.service.coord.default.max.timeout --> default value는 86400 (second ) 이 값은 oozie에서 Control하는 시간의 총 합이라고 생각하면 된다. 3. Example : 만약 Job 마다 5 minute 씩 Wait를 하게 하고.. 그런 Job 이 20개라 가정하면 total wait --> 20 x 5 x..
1. 개요 : network 사정마다 다르지만.. Balancer는 Yarn으로 Summit되지 않고, 자체적으로 Bandwidth을 사용하여, 돌기 때문이지 Balancing에 굉장히 시간이 오래 걸린다. 2. 설정 : hdfs-site.xml의 fs.datanode.balance.bandwidthPerSec의 값을 확인해보면.. 약 6MB로 되어 있었다. ( 각자 셋팅을 확인 할 것 ) 3. 해결 : Bandwidth를 변경하고, conf값을 변경하는 것이 부담스럽다면, 다음과 같이 Command를 통해 진행한다. --> Balancer작업이 빈번하게 일어나게 일어나는 작업은 아니지만, 빈도로 그 결정한다. 4. Command : hdfs dfsadmin -setBalancerBandwidth [ B..