쟈누이의 기록습관

1. 에러 원인 카프카가 실패한 cluster ID 를 meta.properties 에 저장을 해서 일어나는 에러인 것 같다. 카프카 구동시 meta 데이터를 참조하는데, 이때 실패한 cluster ID 가 있으면 그것을 참조하여 카프카가 실행에 실패하는 것 같다.. (이것때문에 2시간 가까이 날림...) 2. 해결 방법 1) meta.properties 파일을 찾는다. 해당 파일은 config/server.properties 파일에서 Log Basics 부분의 log.dir 경로를 찾는다 2) 그다음 해당 경로를 찾아가서 meta.properties 파일을 삭제한다 $ cd $ rm -rf meta.properties 3) 그리고 다시 kafka를 시작하는 명령어로 kafka를 다시 실행시켜 준다. $..

1. 아파치 카프카란? 대규모로 발생하는 메시지성 데이터를 비동기 방식으로 중계하며, 대규모 트렌젝션 데이터가 발생했을 때, 전송 받는 장소에서 과부하가 걸려 데이터가 손실되지 않도록 중간에 데이터를 버퍼링하면서 타겟 시스템에 안정적으로 데이터를 전송해줄 수 있는 아키텍처를 제공하고 있다. 실시간으로 기록 스트림을 게시, 구독, 저장 및 처리할 수 있는 분산 데이터 스트리밍 플랫폼 여러 소스에서 데이터 스트림을 처리하고 여러 사용자에게 전달하도록 설계 중간에서 데이터를 버퍼링하면서 전송하는 데이터를 타깃 시스템에 안정적으로 전송해주는 중간 시스템의 역할 Pub-Sub 모델의 메시지 큐 분산환경에 특화되어 있음 2. 카프카의 특징 1) 고가용성 및 확장성 카프카는 클러스터로서 작동하며, fault-tole..