본문 바로가기

java framework/kafka

(2)
Kafka 용어 정리 Kafka - 프로듀서와 컨슈머의 분리 - 메시징 시스템과 같이 영구 메시지 데이터를 여러 컨슈머에게 허용 - 높은 처리량을 위한 메시지 최적화 - 데이터가 증가함에 따라 스케일 아웃이 가능한 시스템 - Pub- sub 모델 : 메시지를 직접적으로 보내는 것이 아니라 topic을 통해 카테고리화 한다. 분류된 메시지를 받기를 원하는 consumer는 해당 topic을 subscribe함으로써 메시지를 읽어올 수 있다. (발신자가 메일 서버로 SMTP를 통해 메일을 보내고 수신자가 메일 서버에서 IMAP를 통해 메일을 수신하는 것과 비슷) - 카프카는 디스크에 메시지를 저장하고 유지한다. Kafka topic : producer와 consumer들이 카프카로 보낸 자신들의 메시지를 구분하기 위한 네임 - ..
windows 환경에서 kafka 설치 및 실행 1. 카프카 설치 https://kafka.apache.org/downloads 링크 클릭(컨트롤 클릭) -> 공식 다운로드 사이트 or 미러 사이트 에서 카프카 압축 파일 다운로드 -> 압축 해제 -> 2. 카프카 설정 디렉토리 config로 이동 ( ex) C:\dev\kafka_2.11-1.1.0\config) -> server.properties 파일 텍스트 편집기로 오픈 -> log.dirs=/tmp/kafka-logs 를 카프카 설치 경로로 변경 -> ( ex ) log.dirs=C:\\dev\\kafka_2.11-1.1.0\\logs) 3. 카프카 실행 3-1. 주키퍼 실행 %주키퍼 설치 및 설정은 [문서] ZOOKEEPER 설치 및 실행.docx 참고 Zookeeper 실행 -> 3-2. ..