Apache Nifi
개요 IoT 및 다양한 Source ( Flow )를 지원 대부분의 수집관련한 Processor를 지원 nifi.apache.org Architecture Cluster / Standalone 모두 구성 가능 : Zero - Master 구성 Master : NCM , Nifi Cluster Manager Slave : Local에 File 저장 ( 분산 및 Replication 확인 필요 ) REST API다양한 API를 제공함 다만 별도의 Nifi ( Cluster ) Server 구성은 부담
Bigdata/data Collect
2017. 3. 2. 18:46
Apache Flume 개요
ConceptEvent Source to Destination 으로의 전송하는 Flume의 단위String header + byte payload FlowSource to Destination까지의 EventData Flow or Simply flow Client Source에서 Event를 동작시키고 이를 Flume agent로 전달하는 Interface 구현체 Agent Source / Channel / sink와 같은 Flume Component를 가지고 있는 Interface 구현체 Agent들은 이벤트 자체를 Receive , Store 하거나 다음 Agent로 보낼 수 있다. Source Source로 전달된 이벤트들을 소비하는 Interface 구현체Source로 전달된 이벤트는 한개 이상의..
Bigdata/data Collect
2017. 3. 2. 18:45