<aside> <img src="/icons/info-alternate_gray.svg" alt="/icons/info-alternate_gray.svg" width="40px" />
Table of Contents
</aside>
https://www.confluent.io/blog/apache-kafka-for-service-architectures/
https://www.confluent.io/learn/event-driven-architecture/
https://kafka.apache.org/documentation/
https://youtu.be/-oXkuy_21BI?si=3qBGPU7iLoKOijSu
이 문서를 작성한 이유와 배경을 설명합니다.
본 문서는 CloudPlatform의 핵심 구조를 이벤트 기반 아키텍처(EDA)로 전환하고, 그 중심 메시지 브로커로 Apache Kafka를 도입하기 위한 설계 가이드입니다. CloudPlatform의 외부 구조를 EDA로 설계함에 있어, 이벤트 처리의 핵심 컴포넌트인 Kafka를 효과적으로 활용하고자 합니다.
특히, 본 문서에서는 VPC 생성이라는 구체적인 시나리오를 통해 Kafka 이벤트의 정의와 흐름을 명확히 제시합니다. 이를 통해 CloudPlatform을 구성하는 각 컴포넌트 개발팀이 Kafka를 일관성 있게 이해하고 활용하는 데 필요한 실질적인 지침을 제공하고자 합니다.
이 문서를 통해 해결하고자 하는 구체적인 목표를 정의합니다.
본 문서의 핵심 목표는 VPC 생성 사용자 플로우를 중심으로 EDA 환경에서 사용자 요청이 Kafka를 통해 어떻게 처리되는지 전체적인 흐름을 명확히 이해시키는 것입니다. 이를 통해 각 컴포넌트 개발팀은 자신의 역할과 Kafka 이벤트 해석 방안에 대한 명확한 인사이트를 얻고, 효율적인 개발 및 연동 작업을 수행할 수 있도록 지원합니다.
이 문서를 읽어야 할 대상과 필요한 사전 지식을 설명합니다.
본 문서는 CloudPlatform 개발에 참여하는 모든 개발자를 대상으로 합니다. 특히 클라우드 플랫폼의 각 컴포넌트 역할에 대한 기본적인 이해를 갖춘 개발자를 주요 대상으로 하며, Kafka 및 EDA에 대한 사전 지식이 없더라도 본 문서를 통해 핵심 내용을 파악할 수 있도록 구성되었습니다.
현재 직면한 문제를 다양한 관점에서 분석하고, 원인과 영향을 설명합니다.
현재 CloudPlatform 개발팀은 EDA 기반 아키텍처로의 전환을 준비하고 있지만, 각 컴포넌트가 Kafka를 어떻게 바라보고, 어떤 방식으로 활용해야 하는지에 대한 명확한 공통 가이드라인이 부족한 상황입니다.
이러한 상황은 다음과 같은 문제점을 야기할 수 있습니다.
따라서, 본 문서는 VPC 생성 성공 시나리오를 기준으로 각 컴포넌트의 역할, 발행 및 구독해야 하는 Kafka 이벤트를 구체적으로 정의하여, 위에서 언급된 문제점들을 해결하고 개발 효율성을 높이며, 시스템의 안정적인 운영 기반을 마련하는 것을 목표로 합니다.
vm 생성을 위해 가장 기본이 되는 VPC를 기본으로 만든다고 생각하고, VPC 생성 시나리오를 기반으로 설명하겠습니다.
아래 사이트에서 자세히 확인 가능합니다.
sequenceDiagram
actor User
participant Skin as Skin (React Client)
participant Blood as Blood (API GW & Auth)
participant Heart as Heart (Resource Management)
participant SubHeart as Heart Inner MSA
participant Kafka as Kafka Cluster
participant HeartBeat as HeartBeat (Event Monitor)
participant MuscleMemory as MuscleMemory (IaC Manager)
participant OpenStack as OpenStack API
participant DB as Database
%% 로그인 및 인증 프로세스
User->>Skin: 로그인 요청
Skin->>Blood: 인증 요청
Blood->>DB: 사용자 검증
DB-->>Blood: 인증 결과
Blood-->>Skin: 인증 토큰 전달
Skin-->>User: 로그인 성공 화면
%% VPC 생성 프로세스 시작
User->>Skin: VPC 생성 요청
Note over User,Skin: VPC 이름, CIDR 블록, 서브넷 정보 입력
Skin->>Blood: VPC 생성 API 요청 + 인증 토큰
Blood->>Blood: 토큰 검증
Blood->>Heart: VPC 생성 요청 전달
%% Heart 내부의 MSA 처리
Heart->>SubHeart: VPC 서비스로 요청 라우팅
SubHeart->>DB: 사용자 할당량 및 리소스 권한 확인
DB-->>SubHeart: 할당량 확인 결과
%% IaC 관리 서비스에 요청
SubHeart->>MuscleMemory: VPC 리소스 생성 요청
MuscleMemory->>MuscleMemory: IaC 템플릿 생성/업데이트
%% VPC 생성 비동기 처리 시작
MuscleMemory->>OpenStack: 네트워크 생성 요청
MuscleMemory->>Kafka: vpc.creation.initiated 이벤트 발행
%% 이벤트 모니터링 및 사용자 알림
Kafka-->>HeartBeat: 모든 이벤트 수집 및 모니터링
HeartBeat->>HeartBeat: 이벤트 로깅 및 분석
Kafka-->>Heart: vpc.creation.initiated 이벤트 구독
Heart-->>Skin: WebSocket으로 "VPC 생성 시작됨" 알림
Skin-->>User: 생성 진행 상태 표시
%% OpenStack 처리
OpenStack-->>OpenStack: 네트워크 및 서브넷 생성
OpenStack-->>MuscleMemory: 네트워크 생성 진행 상태 (비동기)
%% 상태 업데이트
MuscleMemory->>Kafka: vpc.status.updated 이벤트 발행
Kafka-->>HeartBeat: 이벤트 수집 및 모니터링
Kafka-->>Heart: vpc.status.updated 이벤트 구독
Heart-->>Skin: WebSocket으로 상태 업데이트
Skin-->>User: 생성 진행 상태 업데이트
%% 서브넷 생성
OpenStack-->>MuscleMemory: 네트워크 생성 완료
MuscleMemory->>OpenStack: 서브넷 생성 요청
OpenStack-->>MuscleMemory: 서브넷 생성 완료
%% 라우터 연결 (필요한 경우)
MuscleMemory->>OpenStack: 라우터 생성 및 연결 요청
OpenStack-->>MuscleMemory: 라우터 연결 완료
%% VPC 생성 완료
MuscleMemory->>DB: IaC 상태 및 VPC 정보 저장
MuscleMemory->>Kafka: vpc.created 이벤트 발행
%% 최종 결과 처리
Kafka-->>HeartBeat: 이벤트 수집 및 모니터링
Kafka-->>Heart: vpc.created 이벤트 구독
Heart-->>Skin: WebSocket으로 "VPC 생성 완료" 알림
Skin-->>User: VPC 생성 완료 화면 및 상세 정보 표시
%% VPC 상세 정보 요청
User->>Skin: VPC 상세 정보 요청
Skin->>Blood: VPC 상세 정보 API 요청
Blood->>Heart: VPC 정보 조회 요청
Heart->>SubHeart: VPC 서비스로 요청 라우팅
SubHeart->>DB: VPC 상세 정보 조회
DB-->>SubHeart: VPC 정보
SubHeart-->>Heart: VPC 정보 전달
Heart-->>Blood: VPC 정보 응답
Blood-->>Skin: VPC 정보 제공
Skin-->>User: VPC 네트워크 토폴로지 및 상세 정보 표시
모든 이벤트는 다음과 같은 공통 필드를 포함합니다. 이외에도 얼마든지 필요에 따라 추가 가능합니다.
{
"eventId": "uuid-string", // 이벤트 고유 식별자
"eventType": "string", // 이벤트 유형 (예: vpc.creation.initiated)
"eventVersion": "1.0", // 이벤트 스키마 버전
"source": "string", // 이벤트 발생 소스 (예: muscleMemory, heart)
"timestamp": "ISO-8601-string", // 이벤트 발생 시간
"correlationId": "uuid-string", // 연관된 요청/작업 ID (작업 추적용)
"userId": "string", // 요청한 사용자 ID
"tenantId": "string", // 테넌트/프로젝트 ID
"payload": { // 이벤트 유형별 특화 데이터
// 이벤트 유형에 따라 다른 구조
}
}
eventId: 각 이벤트에 대해 고유 식별자(UUID) 를 부여하여 중복 방지 및 정확한 추적이 가능함.correlationId: 요청과 관련된 여러 이벤트를 하나의 트랜잭션 단위로 추적할 수 있어, 분산 시스템에서 디버깅 및 트레이싱에 유용함.timestamp: 이벤트 발생 시간을 ISO-8601 형식으로 제공하여 시간 순서대로 분석할 수 있음.