[Hadoop Operation] Balancer not working in hdfs HA

1. 개요

  : Node를 추가하고 Balancer를 돌리려고 하니.. 아래와 같은 메세지와 함께 hdfs Balancer가 동작하지 않는다.

 기존에는 동작했지만.. HA 구성하고 나니 동작하지 않는 걸 봐서는 문제가 있는 부분 같다.

2. 환경

  HDP     - 2.3.2.0

  Ambari - 2.1.2

3. 메세지

   :

1. [hdfs@slave1 ~]$ hdfs balancer 15/11/20 11:46:10 INFO balancer.Balancer: namenodes = [hdfs://mycluster, hdfs://mycluster:8020] 15/11/20 11:46:10 INFO balancer.Balancer: parameters = Balancer.Parameters [BalancingPolicy.Node, threshold = 10.0, max idle iteration = 5, #excluded nodes = 0, #included nodes = 0, #source nodes = 0, run during upgrade = false] [..] 15/11/20 11:46:11 INFO block.BlockTokenSecretManager: Setting block keys 15/11/20 11:46:11 INFO balancer.KeyManager: Update block keys every 2hrs, 30mins, 0sec java.io.IOException: Another Balancer is running.. Exiting ... Nov 20, 2015 11:46:11 AM Balancing took 1.883 seconds

4. 해결책

: Conf 디렉토리를 따로 복사하여, 다음 설정을 제거한다.

1. <property> 
2. <name>dfs.namenode.rpc-address</name> 
3. <value>xyz:8020</value>
4. </property>

 

: hdfs --config Modified_conf_dir balancer 

: 이후 정상동작함을 알 수 있다. 

5. 출처

: https://community.hortonworks.com/articles/4595/balancer-not-working-in-hdfs-ha.html

: Ambari-2.1.3.2 이상에서는 Patch가 될 것으로 보이며.. Balancer에서 Namenode 변수를 HA구성된 값으로 받아야 하는데.. 일종의 Bug로 Balancer가 Running중으로 인식되는 부분이다.