nifi를 이용한 kafka에서 elasticsearch로 data 전송

1.   실행

1.1 프로그램 실행

zookeeper 실행 -> kafka 실행 -> nifi 실행 -> elasticsearch 실행 ->

(manual 참조해서 설치 및 실행)

 

1.2 Consumer Kafka 생성 및 설정

nifi host 접속 : http://localhost:8080/nifi/ -> processor ConsumeKafka 생성 ->

Configuration 설정 -> Automatically Terminate Relationships 에 success 체크 ->

Topic Name(s), Group ID 입력 ->

1.3 PutElasticsearchHttp 생성 및 설정

Processor PutElasticsearchHttp 생성 ->

Configuration 설정 -> Automatically Terminate Relationships 에 success , retry, failure 체크 ->

Elasticsearch URL, Index, Type 입력 ->

1.4 flow 생성

Association 형성 ->

두 processor 모두 start ->

1.5 script 실행

Consumer 실행 -> producer 실행 ->

% 보내는 데이터는 json 형식이어야 함

 

2.   결과 확인

2.1 flow 확인

ConsumeKafka의 out message 수와 PutElasticsearchHttp의 in message 수가 같아야 함

2.2 Elastic search로 data 확인

host주소/_cat/indices?v 입력 후 index 추가 확인 ->

( ex) localhost:9200/_cat/indices?v) 

host주소/topic 이름/_search?pretty 입력 후 data 확인

( ex) http://localhost:9200/test11/_search?pretty)