쟈누이의 기록습관

1. 5분만에 카프카 맛보기 1-1. 카프카의 기본 구성 카프카는 데이터를 받아서 전달하는 데이터 버스(data bus) 의 역할을 함 구성 명칭 프로듀서(producer) : 데이터를 만들어주는 쪽 컨슈머(Consumer) : 데이터를 소비하는 쪽 주키퍼 : 카프카의 정상동작을 보장하기 위해 메타 데이터를 관리하는 코디네이터 카프카 프로듀서가 메시지를 어떻게 보내느냐에 따라 카프카에 메시지가 잘 저장될수도 손실될 수도 있음 카프카는 중앙에서 프로듀서로부터 **전달받은 메시지들을 저장**하고, 컨슈머에 **메시지를 전달하는** 두가지 역할을 함 2021년 4월 **주키퍼 없이 구동될 수 있는 카프카**가 처음 공개됨 카프카는 주키퍼를 사용하여 **메타데이터 관리** 및 **브로커들의 노드 관리**를 하고..

1.1 카프카의 주요 특징 빠른 데이터 수집이 가능한 높은 처리량과 낮은 지연시간 카프카는 매우 높은 처리량(throughput)과 낮은 지연시간(latency)을 자랑한다. 아래 그림은 카프카, 펄사, 래빗MQ 총 3가지 메시징 시스템을 비교한 자료다. 이 그림을 보면, 처리량은 카프카가 제일 높으며, 지연시간이 제일 낮은 것은 래빗MQ라는 것을 알 수 있다. 하지만 처리량과 응답 속도를 같이 비교했을 때는 카프카가 독보적이다. 이렇게 카프카는 높은 처리량을 바탕으로 다양한 기업들의 요구사항을 만족시켜줄 뿐만 아니라 비교적 낮은 지연시간까지 제공한다. 높은 확장성 위에서 카프카는 높은 처리량이 장점이라고 했지만, 아무리 처리량이 높은 시스템이라 할지라도 그 끝은 존재하기 마련이다. 이러한 문제를 해결하..