Kafka KRaft

zookeeper

• 어떤 브로커가 특정 파티션 및 토픽의 리더인지 결정하고 저장하는 역할
• 토픽 추가 or 삭제, 브로커 추가 or 삭제 등 변경 사항이 발생하면 kafka에게 알려준다.
• 단점 : kafka 자체가 아닌 외부에서 관리해야 하기 때문에 kafka 확장에 제한이 된다. (데이터 중복, 브로커와 zookeeper의 메타데이터 불일치, 시스템 복잠성 증가 등)

 

https://x.com/BdKozlovski/status/1749097415959851077/photo/1

 

최신 버전 kafka는 zookeeper를 사용하는 대신 KRaft를 사용할 수 있다.

kafka 내부에서 동작하며 kafka의 일부이기 때문에 관리 비용이 줄어든다.

zookeeper 사용보다 확장성이 10배 이상 좋아지고, 배포와 운영이 더 쉬워진다고 한다.

 

Controller Quorum의 장점

zookeeper의 파티션 상한은 2000000개 였으며