Ambari agent version : 2.1.2.1 ambari agent가 다량의 Swap을 사용중이라 OS hang을 유발할 수 있다는 모니터링 내용을 들었다. ( 은근 저 version에 다양한 이유가 많은 듯 하다.. ) 어차피 지속적인 현상이 아니라 간헐적인 경우라 직접 디버깅은 어렵다고 봐야한다..; 관련해서 hortonwoks community에서 검색을 해봤더니 관련한 글이 나온다 https://community.hortonworks.com/content/kbentry/74175/very-high-memory-utilization-by-ambari-agent.html Very high memory utilization by Ambari Agent Short Description:Perf..
환경 : HDP 2.3 ( hive 1.2 , Tez 0.7 ) 대용량 hive on tez shuffle join시에 간혹 socket timeout이 발생한다. 이 부분을 피하기 위해 config를 변경하였지만.. 별로 신통치 않다 dfs.socket.timeoutdfs.datanode.socket.write.timeout 대용량 데이터에 대한 shuffle join이라.. explain을 해보니.. 정말 무지막지한 shuffle이 일어난다( map join이나 다른 join은 데이터 검증에서 실패;; ) 찾아보니 socket timeout에 대한 OS 설정이 있어서 해당 내용을 반영해야 할 것 같다. /proc/sys/net/core/somaxconn : 일반적으로 128 ~ 1024로 설정되어 있..
공통 코드를 보다보니.. ( 익수치 않다보니;; ) 처음보는 Annotation이 눈에 띈다 @SuppressWarnings 뭔가 찾아보니.. Compile시에 warning을 제외시킬 때 사용한다고 한다. 몇가지 더 살펴보면 대표적인게 몇 개 더 있다. @Deprecated : 가급적 사용을 말아 달라는 의미, 일반적으로 상위버젼에서 하위 버젼을 호환할 때, 이제 사용하지 말라는 의미로 많이 사용된다. @SuppressWarning(“”) : 이 부분에 대해 경고를 출력하지 말라는 의미, 옵션을 더 살펴보자 all : 모든 경고 cast : 캐스트 연산자 관련 경고dep-ann : 사용하지 말아야 할 주석 관련 경고deprecation : 사용하지 말아야 할 메서드 관련 경고fallthrough : s..