티스토리 뷰
1. 개요
: network 사정마다 다르지만.. Balancer는 Yarn으로 Summit되지 않고, 자체적으로 Bandwidth을 사용하여, 돌기 때문이지 Balancing에 굉장히 시간이 오래 걸린다.
2. 설정
: hdfs-site.xml의 fs.datanode.balance.bandwidthPerSec의 값을 확인해보면.. 약 6MB로 되어 있었다.
( 각자 셋팅을 확인 할 것 )
3. 해결
: Bandwidth를 변경하고, conf값을 변경하는 것이 부담스럽다면, 다음과 같이 Command를 통해 진행한다.
--> Balancer작업이 빈번하게 일어나게 일어나는 작업은 아니지만, 빈도로 그 결정한다.
4. Command
: hdfs dfsadmin -setBalancerBandwidth [ Byte ]
hdfs balancer
5. Reference.
: http://bloodguy.tistory.com/entry/Hadoop-balancer-%EB%8C%80%EC%97%AD%ED%8F%AD-%EB%B3%80%EA%B2%BD-set-balancer-bandwidth
'Bigdata > hdfs' 카테고리의 다른 글
[Hadoop Operation] Balancer not working in hdfs HA (0) | 2017.01.09 |
---|---|
hdfs-audit Log4j 설정 (0) | 2017.01.06 |
Datanode read-only disk start failture (0) | 2017.01.06 |
댓글