시스템 설계 면접에 나오는 Kafka 핵심 질문들을 정리했습니다. Hot Partition 해결 방법, 확장성 전략, 내결함성 설계부터 실제 면접 질문과 모범 답안까지. Message Queue vs Stream 사용 시기도 실무 예제로 설명합니다.

System Design (Apache Kafka) - Part 3 : Kafka 확장성과 Hot Partition 해결 전략

Apache Kafka의 고성능 비밀을 파헤칩니다. Sequential I/O와 Zero-Copy 기술로 대량 데이터를 빠르게 처리하는 원리, Pull 모델의 장점, Leader-Follower 복제 메커니즘까지 실무 관점에서 상세히 설명합니다.

System Design (Apache Kafka) - Part 2 : Sequential I/O와 Zero-Copy로 이해하는 고성능 메시징

Apache Kafka의 핵심 개념을 월드컵 실시간 통계 시스템 예제로 쉽게 설명합니다. 단일 큐에서 시작해 1,000팀 토너먼트로 확장하면서 발생하는 확장성 문제를 Topic, Partition, Consumer Group으로 해결하는 과정을 다룹니다. Broker, Producer, Consumer 등 핵심 구성 요소와 파티션 내 순서 보장 메커니즘까지 실무 관점에서 정리했습니다.

System Design (Apache Kafka) - Part 1 : 핵심 개념

GCP의 Identity-Aware Proxy(IAP)를 사용하면 퍼블릭 IP 없이도 Private Compute Engine에 안전하게 접근할 수 있습니다. Bastion Host나 VPN 없이 IAM 기반 인증으로 SSH 터널링을 구성하는 방법과 아키텍처를 알아봅니다.

[GCP] Bastion-Host 대신 IAP(Identity-Aware Proxy)를 통해 Private Compute Engine에 접근하기

GCP에서는 서브넷 자체에 퍼블릭/프라이빗 구분이 없습니다. 외부 IP, NAT, 방화벽 설정 등을 통해 퍼블릭처럼 동작하도록 구성합니다.

[GCP] GCP에서 Public과 Private Subnet 구분하기: 구조와 설정 방법 정리

Amazon EKS의 Cluster Access Management API(CAM API)를 활용해 클러스터 접근 제어를 안전하고 선언적으로 설정하는 방법을 단계별로 정리했습니다.

EKS Cluster Access Management API (ConfigMap 없이 API로 접근 관리하는 법)

Consistent Hashing과 Virtual Node를 통한 분산 시스템 부하 분산 전략을 설명합니다.

System Design - Consistent Hashing부터 Virtual Node까지

CAP 이론은 분산 시스템의 일관성, 가용성, 분할 허용성 사이의 트레이드오프를 설명합니다. MongoDB, Cassandra 사례로 개념을 정리해봤습니다.

System Design - CAP 이론과 Quorum: 분산 시스템 설계 기초

Kubernetes에서 Fluent Bit 로그 수집하는 법에 대해 소개합니다.

Kubernetes에서 Fluent Bit의 역할 및 사용 가이드 (Feat. EKS)

Kubernetes에서 automountServiceAccountToken 설정은 Pod의 API 접근 권한과 보안 수준을 결정하는 핵심 옵션

Kubernetes에서 automountServiceAccountToken을 꺼야 할 때와 켜야 할 때

EKS에서 여러 서비스를 하나의 ALB 또는 Ingress로 묶는 방법 소개 (IngressGroup & Nginx Ingress 패턴 정리)

EKS에서 여러 서비스를 하나의 ALB 또는 Ingress로 묶는 방법 (IngressGroup & Nginx Ingress 패턴 정리)

EKS에서의 NLB 사용법에 대해서 소개합니다. (feat. AWS Load Balancer Controller)

EKS에서의 NLB 사용법 (feat. AWS Load Balancer Controller)

《킴벌의 데이터 웨어하우스 툴킷》 스터디 회고, 3개월 간의 기록

《킴벌의 데이터 웨어하우스 툴킷》 스터디 회고

Kimball DW/BI Lifecycle (feat. 킴벌 데이터 웨어하우스 툴킷)

Accumulating Snapshot Fact Table과 Factless Fact Table의 활용 + 교육 기관, 특히 대학에서 발생하는 다양한 데이터를 어떻게 모델링할 수 있는지를 설명

Accumulating Snapshot Fact Table과 Factless Fact Table (feat. 킴벌 데이터 웨어하우스 툴킷 13장)

Surrogate Key 개념부터, dbt에서 Surrogate Key 생성 전략에 대해 정리하였습니다.

dbt에서의 Surrogate Key 생성 전략

CKA(Certified Kubernetes Administrator) 합격 후기와 스터디 회고. 실전 문제 팁, 스터디 커리큘럼, 시험 준비 노하우까지 실무 기반으로 정리했습니다.

CKA(Certified Kubernetes Administrator) 합격 후기 & 스터디 회고

EKS - IAM Role과 Kubernetes ServiceAccount를 연결하는 과정 (+IRSA)

EKS - IAM Role과 Kubernetes ServiceAccount를 연결하는 과정 (+IRSA, boto3)

Datahub가 메타 데이터를 저장하는 방식 (ElasticSearch, MetaDB)

Airflow worker node dns resolution 문제 (Airflow Worker 로그 접근 문제 해결방법)

Airflow DagFile Processing error 해결 및 파싱 안정화 (DagBag import timeout, EFS를 얹은)

EKS - External Secrets Operator를 활용한 AWS Secret manager 연동

Kubernetes - ConfigMap, Secrets 개념 정리

Kubernetes - ConfigMap, Secrets

카프카 핵심 가이드 ch.9 리뷰하기 (데이터 파이프라인)

카프카 핵심 가이드 ch.9 - 데이터 파이프라인

카프카 핵심 가이드 10장 클러스터간 데이터 미러링하기 (미러 메이커)

카프카 핵심 가이드 10장 - 클러스터간 데이터 미러링하기

전략 패턴 (디자인 패턴) - 전략 패턴에 대한 정리 및 유스 케이스 분석

상태 패턴 (디자인 패턴) - 상태 패턴에 대한 정리 및 유스 케이스 분석

kubernetes Kube DNS (CoreDNS) 정리 (CKA 및 개념 정리)

Kubernetes - Kube DNS(CoreDNS 개념 및 CKA)

옵저버 패턴 (디자인 패턴) - 옵저버 패턴에 대한 정리 및 유스 케이스 분석

AB180의 카프카 도입 및 실시간 아키텍처 개선 사례 (리뷰)

카프카 핵심 가이드 ch.6 (카프카 내부 매커니즘) 정리

카프카 핵심 가이드 ch.6 (카프카 내부 매커니즘)

(dbt) dbt model 실습 과정을 통한 톺아보기

[dbt] dbt Model 톺아보기

카프카 핵심 가이드 5장 - 프로그램 내에서 코드로 카프카 관리하기

디자인패턴 - 프록시 패턴에 대한 정리 및 유스 케이스 분석

디자인 패턴 - 프록시 패턴에 대한 정리 및 유스 케이스 분석

카프카 핵심 가이드 ch.3 (카프카 프로듀서)

카프카 프로듀서 (카프카 핵심 가이드 ch 3)

디자인 패턴 - 플라이 웨이트 패턴

카프카 핵심 가이드 ch.1 - Kafka 개요

카프카 핵심 가이드 ch.2 -카프카 설치 및 구성 옵션 톺아보기

카프카 핵심 가이드 ch.2 - 카프카 설치 및 구성 옵션 톺아보기

디자인 패턴 - 프로토타입 정리

디자인 패턴 - 프로토타입

디자인 패턴 - 빌더 패턴

kubernetes Ingress 정리 (CKA 및 개념 정리)

Kubernetes - Ingress 정리 (개념 및 CKA)

디자인 패턴 종류인 팩토리 메서드와 추상 팩토리 설명과 구현

디자인 패턴 - 팩토리 메서드와 추상 팩토리

클린 아키텍처 5장 객체 지향 프로그래밍(OOP)

클린 아키텍처 5장 - 객체 지향 프로그래밍(OOP)

클린 아키텍처 4장 구조적 프로그래밍 정리

클린 아키텍처 4장 - 구조적 프로그래밍 개요

Mock과 Stub은 테스트에서 자주 쓰이는 개념이지만, 그 차이를 명확히 이해하기는 쉽지 않다. 상태 검증과 행위 검증을 중심으로 예제와 함께 정리해봤다.

Mock과 Stub에 대한 아카이빙: 테스트 더블의 세계

레포지토리 패턴에서 DTO를 반환하는 것이 안티패턴일까? 단순 CRUD와 복잡한 데이터 조회 상황을 구분해서 언제 어떤 값을 반환해야 하는지 실무 예제와 함께 정리했습니다.

repository pattern은 어떤 값을 반환해야 하는가에 대한 지론

엘라스틱서치와 루씬의 관계를 통해 클러스터 구성요소부터 세그먼트까지 내부 동작 원리를 살펴봅니다.

[엘라스틱 서치 실무 가이드] 9장 엘라스틱서치와 루씬 이야기 - Part 1

엘라스틱서치와 루씬의 관계를 통해 근실시간 검색이 가능한 이유와 Translog를 통한 고가용성, 그리고 실무에서 중요한 샤드 최적화 전략까지 다룹니다.

[엘라스틱 서치 실무 가이드] 9장 엘라스틱서치와 루씬 이야기 - Part 2

Redis SCAN 톺아보기 – KEYS 명령어를 피해야 하는 이유와 SCAN 실전 팁

엘라스틱 서치 실무 가이드 3장 (1) - 데이터 모델링에 대해서 읽고 정리하였습니다. Elasticsearch 매핑부터 분석기, 매핑 파라미터, 데이터 타입을 상세 예제와 함께 설명합니다.

[엘라스틱 서치 실무 가이드] 3장 데이터 모델링 - Part 1

ECS 태스크가 EC2보다 느릴 경우, 시도해볼 수 있는 것들에 대한 정리 (feat. ECS exec)

ECS-github action를 이용한 Fargate FastAPI 배포

Kafka에서 ISR(In-Sync Replicas)은 데이터 복제 안정성을, cleanup.policy는 로그 정리 방식을 제어합니다. 리더 선출 정책과 delete/compact 차이를 예제로 정리해드립니다.

Kafka ISR과 cleanup.policy: 안정성과 정리 정책의 핵심 정리


엘라스틱 서치 실무 가이드 3장 (2) - 데이터 모델링에 대해서 읽고 정리하였습니다. 분석기 설정, Document API 활용법을 상세 예제와 함께 설명합니다.

[엘라스틱 서치 실무 가이드] 3장 데이터 모델링 - Part 2

[파이썬 아키텍처 패턴] 7장에 대한 정리

[파이썬 아키텍처 패턴] 7장

엘라스틱 서치 실무 가이드 5장 데이터 집계에 대해 읽고 정리

[엘라스틱 서치 실무 가이드] 5장 데이터 집계

‘실시간 인덱싱을 위한 Elasticsearch 구조를 찾아서’ 글을 이해해보면서 필사(자신의 말로 정리)했습니다.

[배민] 실시간 인덱싱을 위한 Elasticsearch 구조를 찾아서 (feat. nested 구조 최적화 과정)

[파이썬 아키텍처 패턴] 6장

[파이썬 아키텍처 패턴] 5장

[파이썬 아키텍처 패턴] 4장

[파이썬 아키텍처 패턴] 3장

[파이썬 아키텍처 패턴] 2장

파이썬 아키텍처 패턴 1장을 읽고 정리

[파이썬 아키텍처 패턴] 1장

엘라스틱 서치 실무 가이드 4장을 읽고 정리한 내용

[엘라스틱 서치 실무 가이드] 4장 데이터 검색

FastAPI는 동기 요청을 스레드 풀로 오프로드하고, 비동기 요청은 이벤트 루프에서 처리합니다. 이 글에서는 FastAPI가 어떻게 동시성을 효율적으로 처리하는지, 스레드 풀과 이벤트 루프의 차이를 예시와 함께 정리했습니다.

FastAPI는 어떻게 동시성을 처리할까? - 이벤트 루프 vs 스레드 풀

Airflow Latest only operator 작성 방법

Airflow Latest only operator 작성

Airflow with ECS task operator (Fargate Spot)

Opensearch sink connector 구성해보기 (feat. AWS MSK)

Opensearch sink connector 구성 (feat. AWS MSK)

[카프카] 멱등성 프로듀서, 트랜잭션 프로듀서와 컨슈머

[카프카] 카프카 컨슈머 소개

[카프카] 카프카 프로듀서 정리

Airflow on Kubernetes (Operating Airflow in k8s executor)

Airflow on Kubernetes

Airflow 아키텍처 및 Executor들 알아보기

Airflow의 API 톺아보기

Airflow 자주 쓰는 명령어 정리

[Airflow] Task-Group & Dynamic Dags

Airflow Dag Dependencies 있는 Dag 작성법 알아보기 (TriggerDagRunOperator, Sensor, ExternalTaskSensor)

[Airflow] Dag Dependencies (TriggerDagRunOperator, Sensor, ExternalTaskSensor)

(PythonOperator, params, context, Xcom, Airflow.cfg, DAG Parameters)

Airflow DAG 작성(PythonOperator, params, context, Xcom, Airflow.cfg, DAG Parameters)

Airflow - Gsheet 사용법 정리 (feat. GCP)

Airflow - Gsheet 사용법 정리

Airflow Metadatabase로 RDS 교체 (feat. docker compose)

[Airflow] Metadatabase로 RDS 교체해보기

[Airflow] Jinja Template with Airflow

MySQL 테이블 복사하기 with S3 Connection, MySQL Connection, sql_to_s3

MySQL 테이블 복사하기(S3 Connection, MySQL Connection, sql_to_s3)

[Airflow] Primary Key Uniqueness란?, Upsert에 대한 정리

[Airflow] Primary Key Uniqueness란?, Upsert

Open Weathermap DAG 구현 + raise를 통한 예외 처리

[Airflow] Open Weathermap DAG 구현 + Raise를 통한 예외 처리

데이터 파이프라인 내 Transaction 사용법

Transaction in Data pipeline

Apache Airflow 입문해보기 및 Airflow의 구조를 알아보는 과정을 가집니다.

Apache Airflow 입문 및 구조, 개념

데이터 파이프라인 입문해보기 (ETL, DW, Datalake, 데이터 파이프라인 내 개념들 살펴보기)

데이터 파이프라인 입문해보기

Yahoo Finance API DAG(update symbol) 작성

Yahoo Finance API DAG 작성을 통한 Full refresh, Incremental 익히기

Backfill과 Airflow

airflow.cfg 구성 분석 및 타임존 설명

[Airflow] airflow.cfg, 타임존 설명

Airflow with Test in CI + 간단한 github actions 설명

Airflow with Test in CI

[Airflow] Custom 컴포넌트 빌드 - 아파치 에어플로우 데이터 파이프라인 8장

[Airflow] Custom 컴포넌트 빌드

[러닝스파크 11장] 아파치 스파크로 머신러닝 파이프라인 관리, 배포 및 확장

[러닝스파크 10장] MLlib을 사용한 머신러닝

Airflow 운영 상의 어려움 + Executor 개념 + Airflow 아키텍처 리뷰

[러닝 스파크 9장] 아파치 스파크를 통한 안정적인 데이터 레이크 구축 + 델타 레이크

[Airflow] Summary table 만들기 (Airflow+Redshift를 통한 ELT)

[Airflow] Summary ELT table 만들기 (Airflow+Redshift)

Airflow docker-compose 리뷰 및 운영 고민 + .airflowignore

7장. 스파크 애플리케이션의 최적화 및 튜닝

[러닝 스파크 7장] 스파크 애플리케이션의 최적화 및 튜닝

[러닝스파크 6장-2] Spark Dataset 개념과 이해

Categories

Data-Engineering

Infra

Backend

Review