1. Kafka 설치 및 실행 a. Kafka 설치 아래의 링크에서 Kafka 2.8.2 를 설치했다. https://kafka.apache.org/downloads Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org b. Zookeeper 실행 Kafka는 Zookeeper를 내부적으로 사용한다. Kafka를 실행하기 전에 아래 명령어로 Zookeeper를 먼저 실행시키도록 하자. [설치경로] bin\windows\zookeeper-server-start.bat config\zookeeper.properties c. Kafka 실행 아래 명령어로 Kafka를 실행시키자. [설치경로] bin\windows\kafka-..
카프카
Kafka란? 대용량 데이터 스트림을 안정적으로 처리하고 관리하기 위한 분산 스트리밍 플랫폼 Pub-Sub 모델의 메시지 큐 형태로 동작한다. 데이터 시스템의 복잡도가 증가하면서 시스템관리, 데이터 파이프라인 관리가 어려워졌는데, 카프카를 사용하면 데이터 흐름을 중앙(카프카)에서 관리할 수 있게 된다. 아파치 소프트웨어 재단에서 개발하고 관리하며, 데이터 스트림을 효율적으로 수집, 저장, 처리, 전송할 수 있는 확장 가능한 시스템을 제공 Kafka 구성 Topic Producer가 데이터를 게시하고, Consumer가 Topic으로 데이터를 구독한다. Producer 데이터를 생성하고 Kafka에 데이터를 게시 Broker Kafka 클러스터의 각 서버를 Broker라 한다. 데이터를 저장하고 Consu..
