1. 개요Linux 환경에서 kafka를 설치 과정을 공유하겠다. 필자는 Rocky Linux 8.10을 사용하고 있고, kafka 3.5.1 버전 설치를 완료했다.그럼 설치를 진행해보자. 2. 설치 방법a. java 설치kafka를 실행하기 위해서는 java가 필요하다. java를 설치해주자.$ dnf install java-17-openjdk b. kafka 다운로드 및 압축 해제kafka.3.5.1 버전 다운로드wget https://archive.apache.org/dist/kafka/3.5.1/kafka_2.13-3.5.1.tgz 압축 해제$ tar -xvf kafka_2.13-3.5.1.tgz c. zookeeper, kafka 실행kafka는 기본적으로 zookeeper가 필요하다.먼저 zo..
Data Infra/Kafka
Kafka란?대용량 데이터 스트림을 안정적으로 처리하고 관리하기 위한 분산 스트리밍 플랫폼Pub-Sub 모델의 메시지 큐 형태로 동작한다.데이터 시스템의 복잡도가 증가하면서 시스템관리, 데이터 파이프라인 관리가 어려워졌는데, 카프카를 사용하면 데이터 흐름을 중앙(카프카)에서 관리할 수 있게 된다.아파치 소프트웨어 재단에서 개발하고 관리하며, 데이터 스트림을 효율적으로 수집, 저장, 처리, 전송할 수 있는 확장 가능한 시스템을 제공 Kafka 구성TopicProducer가 데이터를 게시하고, Consumer가 Topic으로 데이터를 구독한다.Producer데이터를 생성하고 Kafka에 데이터를 게시BrokerKafka 클러스터의 각 서버를 Broker라 한다.데이터를 저장하고 Consumer에게 데이터를 ..
