남건욱's 공부기록

1. 왜 중앙화된 로그 시스템이 필요할까?마이크로서비스 환경에서 장애가 발생하면 곤란한 상황에 빠질 수 있다. 현재 나의 devnote를 예로 들면 요청 하나를 추적하기 위해 6개의 서비스 컨테이너에 각각 접속해 로그 파일을 뒤지는 것은 상당히 비효율적일것이다. 이 문제를 해결하기 위해 모든 서비스의 로그를 한곳으로 모아 검색하고 분석할 수 있는 중앙화된 로그 시스템으로 ELK 스택을 구축했다. 2. Devnote 프로젝트의 로그 아키텍처로그는 Filebeat → Logstash → Elasticsearch → Kibana 순서로 흐르도록 구성했다. 각 컴포넌트는 아래처럼 명확한 역할을 수행한다. MSA 서비스 → 호스트의 로그 파일 → Filebeat (수집) → Logstash (가공) → Elas..

DevNote개발 관련 YouTube/News Aggregator - 최신 개발 트렌드와 뉴스를 한 곳에서devnote.kr 1. 개발자 콘텐츠 플랫폼흩어져 있는 최신 개발 소식과 유튜브 영상을 한곳에서 모아볼 수 있는 개발자 콘텐츠 허브 플랫폼으로 Devnote 프로젝트를 기획했다. 단순히 링크를 모아두는 것을 넘어, AI를 통해 모든 콘텐츠를 알맞은 카테고리별로 자동 분류하고 검색 기능과 커뮤니티 기능을 통해 사용자가 원하는 정보를 쉽고 깊이 있게 탐색할 수 있도록 설계했다. 2. 주요 기능개발자에게 유용한 정보를 제공하기 위해 다음과 같은 핵심 기능들을 구현했다. 2-1. 콘텐츠 자동 수집 및 분류외부 뉴스 사이트의 RSS와 YouTube API를 통해 개발 관련 콘텐츠를 주기적으로 수집하고, G..

1. Analyzer 기본 설정 (standard)아무런 설정을 하지 않으면 Standard Analyzer가 사용되며 한글 타입은 단순 토큰화만되고 형태소 분석 등은 이루어지지 않음 2. 추천 Nori_tokenizerPUT /library_index{ "settings": { "analysis": { "analyzer": { "custom_korean_analyzer": { "type": "custom", "tokenizer": "nori_tokenizer", "filter": ["nori_readingform", "lowercase", "nori_part_of_speech"] } } } ..

1. ElasticsearchElasticsearch는 오픈소스 검색 및 분석 엔진으로, Apache Lucene을 기반으로 한 분산형 데이터베이스이다. 대량의 데이터를 신속하게 저장, 검색 및 분석할 수 있으며 Full text search 기능이 제공된다. 2. ELK (Elasticsearch / Logstash / Kibana) 스택ELK 스택은 Elasticsearch, Logstash, kibana로 구성된 데이터 분석 및 시각화 도구의 집합이다. 각 구성 요소는 특정 기능을 담당하며, 이들을 함께 사용하여 데이터 수집, 저장, 분석을 시각화할 수 있다. 현재는 Elastic 스택이라고 하며 Beats도 추가됐다. Elasticsearch역할 : 데이터 저장 및 검색 엔진기능 : 대량의 데이터..