1. Elastcisearch 설치 및 실행 Elastcisearch 7.17.12 버전 설치 현재 8.x 버전까지 나와있는데 라이브러리, 보안 설정 등 변경된 부분이 많아 7.17..2 버전을 사용했다. https://www.elastic.co/kr/downloads/elasticsearch Download Elasticsearch Download Elasticsearch or the complete Elastic Stack (formerly ELK stack) for free and start searching and analyzing in minutes with Elastic. www.elastic.co Elastisearch 실행 [설치경로] \bin\elasticsearch.bat 로컬환경에서 ..
Back-end
1. Elasticsearch란? Apache Lucene 기반의 JAVA 오픈소스 분산 검색 엔진이다. 방대한 양의 데이터를 신속하게 저장, 검색, 분석 등의 기능을 제공한다. Elasticsearch는 검색을 위해 단독으로 사용되기도 하며, ELK Stack으로 함께 사용되기도 한다. ELK Stack? Logstash 다양한 소스의 로그 또는 트랜잭션 데이터를 수집, 집계 파싱하여 ES로 전달 Elasticsearch Logstash로부터 받은 데이터를 검색 및 집계를 통해 필요한 정보를 형식에 갖춰 저장 Kibana 데이터 시각화 및 모니터링에 활용 2. RDBMS vs Elasticsearch RDBMS 단순 텍스트매칭에 대한 검색만 제공 정형 데이터만 관리하고 검색 Elasticsearch 텍..
1. Kafka 설치 및 실행 a. Kafka 설치 아래의 링크에서 Kafka 2.8.2 를 설치했다. https://kafka.apache.org/downloads Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org b. Zookeeper 실행 Kafka는 Zookeeper를 내부적으로 사용한다. Kafka를 실행하기 전에 아래 명령어로 Zookeeper를 먼저 실행시키도록 하자. [설치경로] bin\windows\zookeeper-server-start.bat config\zookeeper.properties c. Kafka 실행 아래 명령어로 Kafka를 실행시키자. [설치경로] bin\windows\kafka-..
Kafka란? 대용량 데이터 스트림을 안정적으로 처리하고 관리하기 위한 분산 스트리밍 플랫폼 Pub-Sub 모델의 메시지 큐 형태로 동작한다. 데이터 시스템의 복잡도가 증가하면서 시스템관리, 데이터 파이프라인 관리가 어려워졌는데, 카프카를 사용하면 데이터 흐름을 중앙(카프카)에서 관리할 수 있게 된다. 아파치 소프트웨어 재단에서 개발하고 관리하며, 데이터 스트림을 효율적으로 수집, 저장, 처리, 전송할 수 있는 확장 가능한 시스템을 제공 Kafka 구성 Topic Producer가 데이터를 게시하고, Consumer가 Topic으로 데이터를 구독한다. Producer 데이터를 생성하고 Kafka에 데이터를 게시 Broker Kafka 클러스터의 각 서버를 Broker라 한다. 데이터를 저장하고 Consu..
1. 로컬 환경에 PostgreSQL 설치https://www.postgresql.org/ PostgreSQLThe world's most advanced open source database.www.postgresql.org 2. Spring Boot, JPA, PostgreSqla. 의존성 추가implementation 'org.springframework.boot:spring-boot-starter-data-jpa'runtimeOnly 'org.postgresql:postgresql'Spring Data JPA, PostgreSQL Driver 추가 b. application.ymlspring: datasource: driver-class-name: o..
Spring Boot로 Redis 간단한 CRUD를 예제를 해보겠다. 1. Redis 설치 아래 링크에서 Redis를 설치하면 된다! 로컬환경에 설치를 진행했다. https://github.com/microsoftarchive/redis/releases Releases · microsoftarchive/redis Redis is an in-memory database that persists on disk. The data model is key-value, but many different kind of values are supported: Strings, Lists, Sets, Sorted Sets, Hashes - microsoftarchive/redis github.com 2. Spring Bo..
1. Redis(Remote Dictionary Server)란? key, value 구조의 비정형 데이터를 저장하고 관리하기 위한 오픈 소스 기반의 비관계형 DBMS 메모리에 저장하고 조회하는 인메모리 DB 다양한 자료구조를 지원한다.(아래 표 외에도 다양한 자료형을 지원한다.) Type 설명 String 가장 일반적인 형태로, key - value 로 저장하는 형태 List Array 형식의 데이터 구조로 List를 사용하면 처음과 끝에 데이터를 넣고 빼는것은 속도가 빠르지만 중간에 데이터를 삽입할 때 성능이 떨어질 수 있다. Set 순서가 없는 Strings 데이터 집합으로 중복이 없다. Sorted Set Sets와 같은 구조이지만 Score를 통해 순서를 정할 수 있다. Hash Key-Valu..
1. MQTT(Message Queuing Telemetry Transport)란? 주로 M2M, IoT 응용 프로그램에 사용되는 경량 메시지 전송 프로토콜이다. 네트워크 대역폭이 제한되거나 IoT, 대규모 트래픽 전송을 위해 만들어진 프로토콜이다. TCP/IP 프로토콜 위에서 동작하지만 매우 가벼우며, 많은 통신 제약들을 해결해준다. 2. MQTT 특징 연결지향적 MQTT 브러커와 클라이언트는 TCP/IP 소켓 연결 후 명시적으로 연결을 끊거나 네트워크 사정에 의해 연결이 끊어질 때까지 상태를 유지 Topic 기반 메시징 데이터는 Topic으로 구분된다. 클라이언트는 관심 있는 주제를 구독하고, 브로커는 클라이언트들에게 메시지를 발행한다. 브로커를 통한 통신 발행-구독을 통한 통신은 오로지 브로커를 통..
1. MQTT Broker 설치 실습에 앞서 먼저 MQTT Broker를 설치해야 한다. 간단한 예제를 하기 때문에 로컬환경에 설치했다. MQTT Broker 중 Mosquitto를 설치하여 사용하였고, 아래 링크로 접속해서 설치를 진행했다. window일 경우 아래 사진을 참고해서 설치하면 된다. https://mosquitto.org/download/ Download Source mosquitto-2.0.17.tar.gz (GPG signature) Git source code repository (github.com) Older downloads are available at https://mosquitto.org/files/ Binary Installation The binary packages ..
김영한님의 Spring 핵심원리 강의를 듣고 정리하는 글입니다. 1. 개요 데이터베이스 커넥션 풀이나, 네트워크 소켓처럼 애플리케이션 시작 시점에 필요한 연결을 미리 해두고, 애플리케이션 종료 시점에 연결을 모두 종료한 작업일 경우, 객체의 초기화와 종료 작업이 필요하다. 네트워크 연결하는 동작을 표현한 예제 코드를 통해 설명해보겠다. public class NetworkClient { private String url; public NetworkClient() { System.out.println("생성자 호출 , url=" + url); connect(); call("초기화 연결 메세지"); } public void call(String msg) { System.out.println("call= " ..
