메시지큐

Kafka란? 대용량 데이터 스트림을 안정적으로 처리하고 관리하기 위한 분산 스트리밍 플랫폼 Pub-Sub 모델의 메시지 큐 형태로 동작한다. 데이터 시스템의 복잡도가 증가하면서 시스템관리, 데이터 파이프라인 관리가 어려워졌는데, 카프카를 사용하면 데이터 흐름을 중앙(카프카)에서 관리할 수 있게 된다. 아파치 소프트웨어 재단에서 개발하고 관리하며, 데이터 스트림을 효율적으로 수집, 저장, 처리, 전송할 수 있는 확장 가능한 시스템을 제공 Kafka 구성 Topic Producer가 데이터를 게시하고, Consumer가 Topic으로 데이터를 구독한다. Producer 데이터를 생성하고 Kafka에 데이터를 게시 Broker Kafka 클러스터의 각 서버를 Broker라 한다. 데이터를 저장하고 Consu..