개요 : Rhive ( R ↔ hive ) 설치 및 테스트를 위한 Page 환경: HDP 2.5 Stack ( hive 1.2 , hadoop 2.7 ) : R 3.2.3 Source download > git clone git://github.com/nexr/Rhive.git > yum install antBuild> ant build REAME file을 보면 다음과 같다. ## Install RHive 1. Requirements - ant (in order to build java files) 2. Installing RHive 1. Download source code: git clone https://github.com/nexr/RHive.git 2. Change your working dir..
Ambari agent version : 2.1.2.1 ambari agent가 다량의 Swap을 사용중이라 OS hang을 유발할 수 있다는 모니터링 내용을 들었다. ( 은근 저 version에 다양한 이유가 많은 듯 하다.. ) 어차피 지속적인 현상이 아니라 간헐적인 경우라 직접 디버깅은 어렵다고 봐야한다..; 관련해서 hortonwoks community에서 검색을 해봤더니 관련한 글이 나온다 https://community.hortonworks.com/content/kbentry/74175/very-high-memory-utilization-by-ambari-agent.html Very high memory utilization by Ambari Agent Short Description:Perf..
환경 : HDP 2.3 ( hive 1.2 , Tez 0.7 ) 대용량 hive on tez shuffle join시에 간혹 socket timeout이 발생한다. 이 부분을 피하기 위해 config를 변경하였지만.. 별로 신통치 않다 dfs.socket.timeoutdfs.datanode.socket.write.timeout 대용량 데이터에 대한 shuffle join이라.. explain을 해보니.. 정말 무지막지한 shuffle이 일어난다( map join이나 다른 join은 데이터 검증에서 실패;; ) 찾아보니 socket timeout에 대한 OS 설정이 있어서 해당 내용을 반영해야 할 것 같다. /proc/sys/net/core/somaxconn : 일반적으로 128 ~ 1024로 설정되어 있..
개요 IoT 및 다양한 Source ( Flow )를 지원 대부분의 수집관련한 Processor를 지원 nifi.apache.org Architecture Cluster / Standalone 모두 구성 가능 : Zero - Master 구성 Master : NCM , Nifi Cluster Manager Slave : Local에 File 저장 ( 분산 및 Replication 확인 필요 ) REST API다양한 API를 제공함 다만 별도의 Nifi ( Cluster ) Server 구성은 부담
ConceptEvent Source to Destination 으로의 전송하는 Flume의 단위String header + byte payload FlowSource to Destination까지의 EventData Flow or Simply flow Client Source에서 Event를 동작시키고 이를 Flume agent로 전달하는 Interface 구현체 Agent Source / Channel / sink와 같은 Flume Component를 가지고 있는 Interface 구현체 Agent들은 이벤트 자체를 Receive , Store 하거나 다음 Agent로 보낼 수 있다. Source Source로 전달된 이벤트들을 소비하는 Interface 구현체Source로 전달된 이벤트는 한개 이상의..
Test Junit를 쓰다보니.. 다음과 같은 에러가 난다 java.lang.NoClassDefFoundError: org/junit/runners/model/MultipleFailureException 아무리 살펴봐도.. 문제 될게 없어보였는데.. 찾아보니 dependency version이 문제였다. version을 4.9 이상 올리니.. 문제가 없이 깔끔히 넘어간다
version : HDP 2.3 / ambari 2.1.2 ambari metric collector Not running ambari를 통한 운영을 하다면 Metric Collect가 눈에 띄인다. Metric데이터를 보여주는 tool인데.. 은근히 상태 모니터링에 사용하기에 괜찮다 문제는 Collector가 가끔 오동작 or Running되지 않는 경우가 종종있다 관련 document를 살펴보자 http://docs.hortonworks.com/HDPDocuments/Ambari-2.1.2.0/bk_ambari_reference_guide/content/ams_collector_modes.html The Metrics Collector is built using Hadoop technologies s..
1. 개요 : Node를 추가하고 Balancer를 돌리려고 하니.. 아래와 같은 메세지와 함께 hdfs Balancer가 동작하지 않는다. 기존에는 동작했지만.. HA 구성하고 나니 동작하지 않는 걸 봐서는 문제가 있는 부분 같다. 2. 환경 HDP - 2.3.2.0 Ambari - 2.1.2 3. 메세지 :[hdfs@slave1 ~]$ hdfs balancer 15/11/20 11:46:10 INFO balancer.Balancer: namenodes = [hdfs://mycluster, hdfs://mycluster:8020] 15/11/20 11:46:10 INFO balancer.Balancer: parameters = Balancer.Parameters [BalancingPolicy.Node,..
1. 개요 : oozie coordinator에서 file Retry action이 필요할 경우가 있다. 간혹 Version마다 차이가 있지만 ( ex) CDH or HDP or Apache ) 다수의 잡을 실행시킬 경우, Retry Time이 지켜지지 않는 경우가 종종 있다. 2. oozie-site.xml : 아래의 변수를 확인한다. oozie.service.coord.default.max.timeout --> default value는 86400 (second ) 이 값은 oozie에서 Control하는 시간의 총 합이라고 생각하면 된다. 3. Example : 만약 Job 마다 5 minute 씩 Wait를 하게 하고.. 그런 Job 이 20개라 가정하면 total wait --> 20 x 5 x..
1. 개요 : network 사정마다 다르지만.. Balancer는 Yarn으로 Summit되지 않고, 자체적으로 Bandwidth을 사용하여, 돌기 때문이지 Balancing에 굉장히 시간이 오래 걸린다. 2. 설정 : hdfs-site.xml의 fs.datanode.balance.bandwidthPerSec의 값을 확인해보면.. 약 6MB로 되어 있었다. ( 각자 셋팅을 확인 할 것 ) 3. 해결 : Bandwidth를 변경하고, conf값을 변경하는 것이 부담스럽다면, 다음과 같이 Command를 통해 진행한다. --> Balancer작업이 빈번하게 일어나게 일어나는 작업은 아니지만, 빈도로 그 결정한다. 4. Command : hdfs dfsadmin -setBalancerBandwidth [ B..