[Hadoop Operation] HDFS Balancer bandwidth 변경

1. 개요

 : network 사정마다 다르지만.. Balancer는 Yarn으로 Summit되지 않고, 자체적으로 Bandwidth을 사용하여, 돌기 때문이지 Balancing에 굉장히 시간이 오래 걸린다.

2. 설정 

  : hdfs-site.xml의 fs.datanode.balance.bandwidthPerSec의 값을 확인해보면.. 약 6MB로 되어 있었다.

( 각자 셋팅을 확인 할 것 )

3. 해결

: Bandwidth를 변경하고, conf값을 변경하는 것이 부담스럽다면, 다음과 같이 Command를 통해 진행한다.

--> Balancer작업이 빈번하게 일어나게 일어나는 작업은 아니지만, 빈도로 그 결정한다.

4. Command

: hdfs dfsadmin -setBalancerBandwidth [ Byte ]

hdfs balancer

5. Reference.

: http://bloodguy.tistory.com/entry/Hadoop-balancer-%EB%8C%80%EC%97%AD%ED%8F%AD-%EB%B3%80%EA%B2%BD-set-balancer-bandwidth