반응형
1. 5분만에 카프카 맛보기
1-1. 카프카의 기본 구성
- 카프카는 데이터를 받아서 전달하는 데이터 버스(data bus) 의 역할을 함
- 구성 명칭
- 프로듀서(producer) : 데이터를 만들어주는 쪽
- 컨슈머(Consumer) : 데이터를 소비하는 쪽
- 주키퍼 : 카프카의 정상동작을 보장하기 위해 메타 데이터를 관리하는 코디네이터
- 카프카 프로듀서가 메시지를 어떻게 보내느냐에 따라 카프카에 메시지가 잘 저장될수도 손실될 수도 있음
- 카프카는 중앙에서 프로듀서로부터 **전달받은 메시지들을 저장**하고, 컨슈머에 **메시지를 전달하는** 두가지 역할을 함
- 2021년 4월 **주키퍼 없이 구동될 수 있는 카프카**가 처음 공개됨
- 카프카는 주키퍼를 사용하여 **메타데이터 관리** 및 **브로커들의 노드 관리**를 하고 있음
- 컨슈머는 카프카에 **저장된 메시지를 꺼내오는 역할**
- 컨슈머가 꺼내온 메시지를 **애플리케이션으로 전송**, **변형 후 카프카로 전송**하는 등 다양한 방법으로 응용해 사용 가능
1-2. 메시지 보내고 받기
- 카프카로 메시지를 전송하기에 앞서 가장 먼저 할 일은 토픽을 생성하는 것
- 프로듀서는 카프카의 특정 토픽으로 메시지를 전송
- 그리고, 컨슈머는 특정 토픽에서 메시지를 가져옴
- 주로 사용하는 명령어 정리
1. 5분만에 카프카 맛보기
1-1. 카프카의 기본 구성
- 카프카는 데이터를 받아서 전달하는 데이터 버스(data bus) 의 역할을 함
- 구성 명칭
- 프로듀서(producer) : 데이터를 만들어주는 쪽
- 컨슈머(Consumer) : 데이터를 소비하는 쪽
- 주키퍼 : 카프카의 정상동작을 보장하기 위해 메타 데이터를 관리하는 코디네이터
- 카프카 프로듀서가 메시지를 어떻게 보내느냐에 따라 카프카에 메시지가 잘 저장될수도 손실될 수도 있음
- 카프카는 중앙에서 프로듀서로부터 **전달받은 메시지들을 저장**하고, 컨슈머에 **메시지를 전달하는** 두가지 역할을 함
- 2021년 4월 **주키퍼 없이 구동될 수 있는 카프카**가 처음 공개됨
- 카프카는 주키퍼를 사용하여 **메타데이터 관리** 및 **브로커들의 노드 관리**를 하고 있음
- 컨슈머는 카프카에 **저장된 메시지를 꺼내오는 역할**
- 컨슈머가 꺼내온 메시지를 **애플리케이션으로 전송**, **변형 후 카프카로 전송**하는 등 다양한 방법으로 응용해 사용 가능
1-2. 메시지 보내고 받기
- 카프카로 메시지를 전송하기에 앞서 가장 먼저 할 일은 토픽을 생성하는 것
- 프로듀서는 카프카의 특정 토픽으로 메시지를 전송
- 그리고, 컨슈머는 특정 토픽에서 메시지를 가져옴
- 주로 사용하는 명령어 정리
반응형
'Data Engineering > Kafka' 카테고리의 다른 글
[Kafka] Kafka study 내용 정리 1 (0) | 2023.11.19 |
---|