Data Engineering/Kafka

[Kafka] 2. Kafka 기본 구성

쟈누이 2023. 11. 21. 00:33
반응형

1. 5분만에 카프카 맛보기

1-1. 카프카의 기본 구성

  • 카프카는 데이터를 받아서 전달하는 데이터 버스(data bus) 의 역할을 함
  • 구성 명칭
    • 프로듀서(producer) : 데이터를 만들어주는 쪽
    • 컨슈머(Consumer) : 데이터를 소비하는 쪽
    • 주키퍼 : 카프카의 정상동작을 보장하기 위해 메타 데이터를 관리하는 코디네이터
  • 카프카 프로듀서가 메시지를 어떻게 보내느냐에 따라 카프카에 메시지가 잘 저장될수도 손실될 수도 있음
  • 카프카는 중앙에서 프로듀서로부터 **전달받은 메시지들을 저장**하고, 컨슈머에 **메시지를 전달하는** 두가지 역할을 함
  • 2021년 4월 **주키퍼 없이 구동될 수 있는 카프카**가 처음 공개됨
  • 카프카는 주키퍼를 사용하여 **메타데이터 관리** 및 **브로커들의 노드 관리**를 하고 있음
  • 컨슈머는 카프카에 **저장된 메시지를 꺼내오는 역할**
  • 컨슈머가 꺼내온 메시지를 **애플리케이션으로 전송**, **변형 후 카프카로 전송**하는 등 다양한 방법으로 응용해 사용 가능

1-2. 메시지 보내고 받기

  • 카프카로 메시지를 전송하기에 앞서 가장 먼저 할 일은 토픽을 생성하는 것
  • 프로듀서는 카프카의 특정 토픽으로 메시지를 전송
  • 그리고, 컨슈머는 특정 토픽에서 메시지를 가져옴
  • 주로 사용하는 명령어 정리

1. 5분만에 카프카 맛보기

1-1. 카프카의 기본 구성

  • 카프카는 데이터를 받아서 전달하는 데이터 버스(data bus) 의 역할을 함
  • 구성 명칭
    • 프로듀서(producer) : 데이터를 만들어주는 쪽
    • 컨슈머(Consumer) : 데이터를 소비하는 쪽
    • 주키퍼 : 카프카의 정상동작을 보장하기 위해 메타 데이터를 관리하는 코디네이터
  • 카프카 프로듀서가 메시지를 어떻게 보내느냐에 따라 카프카에 메시지가 잘 저장될수도 손실될 수도 있음
  • 카프카는 중앙에서 프로듀서로부터 **전달받은 메시지들을 저장**하고, 컨슈머에 **메시지를 전달하는** 두가지 역할을 함
  • 2021년 4월 **주키퍼 없이 구동될 수 있는 카프카**가 처음 공개됨
  • 카프카는 주키퍼를 사용하여 **메타데이터 관리** 및 **브로커들의 노드 관리**를 하고 있음
  • 컨슈머는 카프카에 **저장된 메시지를 꺼내오는 역할**
  • 컨슈머가 꺼내온 메시지를 **애플리케이션으로 전송**, **변형 후 카프카로 전송**하는 등 다양한 방법으로 응용해 사용 가능

1-2. 메시지 보내고 받기

  • 카프카로 메시지를 전송하기에 앞서 가장 먼저 할 일은 토픽을 생성하는 것
  • 프로듀서는 카프카의 특정 토픽으로 메시지를 전송
  • 그리고, 컨슈머는 특정 토픽에서 메시지를 가져옴
  • 주로 사용하는 명령어 정리
반응형

'Data Engineering > Kafka' 카테고리의 다른 글

[Kafka] Kafka study 내용 정리 1  (0) 2023.11.19