yarn nodemanager Socket Timeout ( hive on tez )
환경 : HDP 2.3 ( hive 1.2 , Tez 0.7 ) 대용량 hive on tez shuffle join시에 간혹 socket timeout이 발생한다. 이 부분을 피하기 위해 config를 변경하였지만.. 별로 신통치 않다 dfs.socket.timeoutdfs.datanode.socket.write.timeout 대용량 데이터에 대한 shuffle join이라.. explain을 해보니.. 정말 무지막지한 shuffle이 일어난다( map join이나 다른 join은 데이터 검증에서 실패;; ) 찾아보니 socket timeout에 대한 OS 설정이 있어서 해당 내용을 반영해야 할 것 같다. /proc/sys/net/core/somaxconn : 일반적으로 128 ~ 1024로 설정되어 있..
Bigdata/TroubleShooting
2017. 3. 3. 13:56
java.lang.NoClassDefFoundError: org/junit/runners/model/MultipleFailureException
Test Junit를 쓰다보니.. 다음과 같은 에러가 난다 java.lang.NoClassDefFoundError: org/junit/runners/model/MultipleFailureException 아무리 살펴봐도.. 문제 될게 없어보였는데.. 찾아보니 dependency version이 문제였다. version을 4.9 이상 올리니.. 문제가 없이 깔끔히 넘어간다
Bigdata/TroubleShooting
2017. 2. 15. 19:45