Apache Flume 개요

Concept

• Event 
  • Source to Destination 으로의 전송하는 Flume의 단위
  • String header + byte payload 
• Flow
  • Source to Destination까지의 Event
  • Data Flow or Simply flow 
• Client 
  • Source에서 Event를 동작시키고 이를 Flume agent로 전달하는 Interface 구현체 
• Agent 
  • Source / Channel / sink와 같은 Flume Component를 가지고 있는 Interface 구현체 
  • Agent들은 이벤트 자체를  Receive , Store 하거나 다음 Agent로 보낼 수 있다. 
• Source 
  • Source로 전달된 이벤트들을 소비하는 Interface 구현체
  • Source로 전달된 이벤트는 한개 이상의 channel로 전달시켜버린다. 
• Channel 
  • Source로 전달된 Event들을 일시적으로 저장
  • Sink가 데이터를 처리하고, 이를 지워줄때 까지 wait한다. 
• Sink
  • Channel에서 온 데이터를 Flow상의 다른 Agent로 보내는 Interface 
    
    

Example 

 

 

Agent간의 Transaction push

• Agent1 --> Agent2에 대한 체크 및 Status확인을 할 수 있다면 좋을듯