모니터링의 새로운 미래 관측 가능성

프로메테우스, 그라파나, 오픈텔레메트리까지 마이크로서비스와 인공지능 중심의 옵저버빌리티 구현

정현석 , 진미란 저자(글)

제이펍 · 2023년 12월 08일

책 소개

마이크로서비스와 인공지능 사례 중심의 관측 가능성 실무 가이드

클라우드 네이티브 기술이 고도화되고 시스템이 복잡해질수록 근본 원인 분석을 위한 관측 가능성이 필수다. 이 책은 분산 서비스에서 빼놓을 수 없는 쿠버네티스를 기반으로 관측 가능성을 다룬다. 프로메테우스부터 그라파나, 오픈텔레메트리까지 다양하게 다루고 있어 관측 가능성에 대한 폭넓은 지식을 얻을 수 있다. 직접 실습할 수 있도록 Go 언어와 파이썬으로 개발한 마이크로서비스를 제공하며, 다양한 예제를 통해 시스템을 구축해보면서 근본 원인에 대한 분석 방법을 이해하도록 구성했다. 예제는 실무에 가깝게 구성되어 현장에서 바로 적용이 가능한 기술을 익힐 수 있다.

작가정보

저자(글) 정현석

액센츄어(Accenture), IBM에서 소프트웨어 엔지니어로 근무했고, 현재 호주 시드니에 있는 맥쿼리그룹에서 SRE로 근무하고 있다. 비용 절감을 위해 다양한 관측 가능성 설루션을 하나로 통합하고 있으며, USED/RED 대시보드와 알람을 표준화해서 배포를 자동화했다. 실사용자 모니터링을 사용하여 프런트엔드부터 백엔드까지 관측 가능성을 적용하고, 비즈니스적인 가치를 찾고 기술적으로 구현하기 위해 지원하고 있다. 또한, 관측 가능성을 고도화해서 근본 원인 분석과 IT 운영 자동화를 이루고, 나아가 AIOps가 구현될 수 있도록 협업 중이다.

저자(글) 진미란

클라우드 엔지니어로 근무하며 데이터, ML 분야의 여러 베스트 프랙티스를 경험했다. 머신러닝의 프로세스 자동화, 재현 가능성 및 지속성이 중요하다고 생각하고, 머신러닝 모델을 서비스화하여 UX에 도움을 주거나 수익을 창출하는 등의 실용성에 대해 고민하고 있다. 현재는 MLOps 엔지니어로 근무하며 관련 설루션을 개발하고 있다. 새로운 것에 도전하고 값진 경험으로 성장하기를 희망하는 미래의 나와, 실제로 그것을 해내야 하는 현실 속의 나 사이의 괴리로 인해 갈등하지만, ‘이것도 그냥 나인가 보다’ 하고 받아들이는 수행 과정에 있다.

목차

• 추천사 x
  베타리더 후기 xiii
  머리말 xv
  이 책에 대하여 xvii
  
  CHAPTER 1 관측 가능성의 개념과 방향성 1
  1.1 관측 가능성의 세 가지 요소 2
  __1.1.1 모니터링과 차이점 2
  __1.1.2 관측 가능성 구성 요소 5
  1.2 메트릭 6
  __1.2.1 가용성 6
  __1.2.2 구글의 골든 시그널 7
  __1.2.3 메트릭 유형 12
  __1.2.4 시계열 데이터 13
  __1.2.5 프로메테우스의 히스토그램 16
  __1.2.6 메트릭 관리 방안 21
  1.3 추적 25
  __1.3.1 추적 구성 요소 25
  __1.3.2 추적 데모 29
  1.4 로그 37
  __1.4.1 로그 관리 37
  __1.4.2 로그 표준화 40
  1.5 상관관계 44
  __1.5.1 상관관계의 필요성 44
  __1.5.2 상관관계 구현 방안 46
  1.6 관측 가능성 데모 52
  __1.6.1 데모의 방향성 52
  __1.6.2 관측 가능성 데모 목록 54
  1.7 관측 가능성 목표 59
  __1.7.1 레퍼런스 아키텍처 59
  __1.7.2 핵심 목표 60
  1.8 관측 가능성 오픈소스 64
  1.9 관측 가능성 방향성 65
  
  CHAPTER 2 관측 가능성 기반 기술 69
  2.1 트래픽 관리 69
  __2.1.1 단일 장애점 69
  __2.1.2 로드 밸런서 70
  __2.1.3 복원성 패턴 73
  __2.1.4 가시성 78
  __2.1.5 서비스 메시 79
  2.2 쿠버네티스 오토스케일링 81
  __2.2.1 오토스케일링 오픈소스 85
  __2.2.2 메트릭 측정 90
  __2.2.3 메트릭 선정 91
  2.3 관측 가능성 프로세스 96
  __2.3.1 관측 가능성 운영 프로세스 96
  __2.3.2 관측 가능성 장애 프로세스 97
  2.4 수평 샤딩 99
  2.5 마이크로서비스 102
  __2.5.1 마이크로서비스 개발 흐름 103
  __2.5.2 관측 가능성의 마이크로서비스 105
  __2.5.3 읽기와 쓰기를 분리하기 106
  2.6 일관된 해시 108
  2.7 관측 가능성 시각화 113
  2.8 키-값 저장소 119
  2.9 객체 스토리지 120
  2.10 안정적 데이터 관리 121
  2.11 시계열 데이터 집계 128
  
  CHAPTER 3 관측 가능성의 시작, 프로메테우스 131
  3.1 프로메테우스 바이너리 구성 131
  3.2 프로메테우스 시계열 데이터베이스 138
  __3.2.1 데이터 형식 138
  __3.2.2 데이터 관리 139
  __3.2.3 블록 관리 141
  3.3 프로메테우스 쿠버네티스 구성 144
  3.4 프로메테우스 오퍼레이터 146
  3.5 프로메테우스 오토스케일링 154
  __3.5.1 프로메테우스 어댑터 154
  __3.5.2 KEDA 오토스케일 159
  3.6 프로메테우스 알람 162
  3.7 프로메테우스 운영 아키텍처 170
  __3.7.1 샤딩 아키텍처 170
  __3.7.2 페더레이션 아키텍처 173
  3.8 타노스 운영 175
  __3.8.1 타노스 아키텍처 175
  __3.8.2 타노스 사이드카 방식 178
  __3.8.3 타노스 리시버 방식 181
  __3.8.4 타노스 구성 183
  __3.8.5 타노스 테스트 186
  
  CHAPTER 4 오픈소스 관측 가능성, 그라파나 189
  4.1 그라파나 관측 가능성 190
  __4.1.1 목적과 범위 190
  __4.1.2 인프라 구성 191
  __4.1.3 애플리케이션 구성 193
  4.2 로키 로그 관리 202
  __4.2.1 로키 기능 202
  __4.2.2 로키 바이너리 구성 213
  __4.2.3 프롬테일 쿠버네티스 구성 214
  __4.2.4 로키 쿠버네티스 구성 215
  __4.2.5 로키 테스트 221
  4.3 미미르 메트릭 관리 224
  __4.3.1 미미르 기능 224
  __4.3.2 미미르 구성 232
  __4.3.3 미미르 쿠버네티스 구성 236
  __4.3.4 미미르 업무 규칙 238
  4.4 템포 추적 관리 245
  __4.4.1 템포 기능 245
  __4.4.2 템포 바이너리 구성 249
  __4.4.3 템포 쿠버네티스 구성 250
  __4.4.4 템포 쿠버네티스 테스트 252
  4.5 예거 추적 관리 254
  __4.5.1 예거 쿠버네티스 구성 254
  __4.5.2 예거 데이터 모델 257
  
  CHAPTER 5 그라파나 관측 가능성 데모 259
  5.1 상관관계 261
  __5.1.1 메트릭에서 추적으로 262
  __5.1.2 추적에서 메트릭으로 263
  __5.1.3 로그에서 추적으로 270
  __5.1.4 추적에서 로그로 271
  __5.1.5 메트릭에서 로그로 272
  5.2 뉴 스택 278
  __5.2.1 뉴 스택 소개 279
  __5.2.2 뉴 스택 구성 284
  __5.2.3 뉴 스택 상관관계 287
  5.3 라이드 온디맨드 294
  __5.3.1 시스템 설정 296
  __5.3.2 소스 설명 309
  __5.3.3 HotROD 개선 방향 328
  5.4 그라파나 관측 가능성 330
  __5.4.1 시스템 개요 330
  __5.4.2 소스 설명 333
  __5.4.3 시스템 구성 336
  __5.4.4 그라파나 데이터 소스 설정 341
  
  CHAPTER 6 관측 가능성의 표준, 오픈텔레메트리 343
  6.1 오픈텔레메트리 소개 344
  6.2 오픈텔레메트리 컴포넌트 345
  __6.2.1 신호의 구성 요소 347
  __6.2.2 콘텍스트 전파 358
  __6.2.3 파이프라인 359
  6.3 추적 361
  __6.3.1 오픈텔레메트리 추적 소개 361
  __6.3.2 추적 파이프라인 구성 367
  6.4 메트릭 374
  __6.4.1 오픈텔레메트리 메트릭 소개 374
  __6.4.2 메트릭 파이프라인 구성 378
  6.5 로그 384
  __6.5.1 오픈텔레메트리 로그 소개 384
  __6.5.2 로그 파이프라인 구성 391
  6.6 컬렉터 397
  __6.6.1 오픈텔레메트리 컬렉터 소개 397
  __6.6.2 컬렉터 파이프라인 구성 400
  6.7 오픈텔레메트리 데모 404
  
  CHAPTER 7 관측 가능성을 넘어 자동화로 425
  7.1 IT 운영 자동화 425
  7.2 AIOps의 발전 단계 427
  __7.2.1 지능형 경고 429
  __7.2.2 상관관계 429
  __7.2.3 이상 탐지 430
  7.3 AIOps의 기술들 431
  7.4 앞으로 더 배울 내용 433
  __7.4.1 다섯 가지 텔레메트리 433
  __7.4.2 이상 탐지 434
  __7.4.3 근본 원인 분석 435
  __7.4.4 데이터 파이프라인 436
  __7.4.5 오픈서치 관측 가능성 436
  __7.4.6 멀티 클러스터와 멀티 테넌트 437
  __7.4.7 자동 계측 439
  __7.4.8 SLO 규칙과 시각화 439
  
  용어 설명 440
  찾아보기 445

추천사

• 이은호 (우아한형제들 서비스 인프라실)

  이 책은 관측 가능성의 메트릭, 로그, 추적에 이르는 세 가지 핵심 요소의 개념과 이들의 상관관계를 설명하여 이를 어떻게 활용할지 알려줍니다. 관측 가능성을 처음 접하는 개발자가 쉽게 시작할 수 있도록 개인 컴퓨터에 프로그램을 설치하는 방법부터 대규모 서비스를 위한 클라우드 환경에서의 구축 방법까지 모든 가이드를 제공합니다. 단순히 설치하는 것에 끝나지 않고 예제를 통해 메트릭, 로그, 추적을 활용해서 이들 지표를 어떻게 이해해야 하는지 설명하는 부분은 데브옵스에게 큰 도움을 줄 것입니다. 모니터링을 처음 접하는 입문자부터 경험이 많은 데브옵스 엔지니어까지 유용하게 활용할 수 있는 실무 서적입니다.

• 김성수 (SK C&C 하이브리드 클라우드팀)

  이 책은 모니터링에 대한 요구를 충족시키기 위한 다양한 방법을 제시하고, 복잡한 관측 가능성 개념을 명확하게 설명합니다. 특히 로그, 메트릭, 추적을 기반으로 이벤트의 상관관계에 대한 자세한 설명이 인상적입니다. 또한, 실제 운영 환경에서 발생할 수 있는 다양한 문제 상황에 대응하는 전략과 방법론까지 깊이 있게 다룹니다. 책을 읽다 보면 현장에서 바로 적용할 수 있는 지식을 얻을 수 있습니다. 그리고 단순히 문제 해결만을 넘어서, 비즈니스 성공의 필수라고 할 수 있는 안정적인 IT 인프라 구축으로 연결되는 혜안을 얻을 수 있습니다.

• 유상규 (크래프톤 DLOPS팀)

  인프라 엔지니어와 데브옵스 엔지니어에 이르기까지 다양한 분야에 적용할 수 있는 메트릭 처리 방식들을 차근차근 따라가다 보면, 어느새 여러분의 운영 인프라 또한 관측 가능성에 의해 운영되는 시스템이 될 수 있을 거라 생각합니다. 장마다 잘 정리된 자세한 설명을 보면서 저자의 꼼꼼함을 느낄 수 있었습니다.

책 속으로

관측 가능성은 모니터링을 대체하는 개념이 아니다. 하지만 다수 유사한 점을 가지고 있다. 그림 1.1에서 보여주는 것처럼 모니터링은 블랙박스와 화이트박스 영역을 포함하지만, 관측 가능성은 화이트박스와 예측 영역을 포함한다. 즉, 관측 가능성이 지향하는 목표는 내부 시스템에 대한 자세한 이해를 기반으로 미래에 발생할 이벤트를 예측하는 것이고, 이러한 예측을 바탕으로 IT 운영을 자동화하는 것이다. (2쪽)

관측 가능성은 비즈니스를 직접적으로 지원하는 프런트엔드, 백엔드 애플리케이션보다 더 많은 트랜잭션과 부하에 마주치게 된다. 관측 가능성으로 유입되는 시계열 데이터는 변경과 삭제를 제외한 조회, 추가와 관련한 대용량 시계열 트랜잭션이다. 안정적이고 확장 가능한 시스템을 구축하지 않는다면 관측 가능성 시스템은 여러 차례 장애에 부딪칠 가능성이 크다. (70쪽)

시계열 데이터베이스는 시간이 지남에 따라 모든 측정값을 수집, 저장, 질의해야 할 필요성에서 출발했다. 엄청난 양의 측정값을 저장하는 이러한 유형의 데이터베이스는 쓰기에 집중되어 있다. 그러면서도 간단한 쿼리가 몇 시간, 며칠 또는 몇 달간의 엄청난 양의 데이터를 그것도 빠르게 반환한다는 것을 이해하는 것이 중요하다. (143쪽)

이그젬플러는 주어진 시간 간격에서 측정된 추적의 샘플링이다. 이그젬플러는 시계열 데이터 내의 특정 이벤트에서 높은 카디널리티를 가지는 메타데이터를 식별하는 데 도움이 된다. 메트릭은 시스템에 대한 집계 보기를 제공하는 데 탁월하지만, 추적은 단일 요청에 대한 세부적인 보기를 제공한다. 따라서 둘의 상관관계를 만들어 서로 보완해야 하며, 이그젬플러는 메트릭과 추적을 연결하는 방법이다. (262쪽)

다양한 마이크로서비스에 대한 추적을 조회할 수 있다. 원래 HotROD는 예거 추적 기반에서 실행된다. 하지만 예거 추적 기반에서 단독으로 실행하는 것보다, 그라파나와 오픈서치와 같은 관측 가능성 기반으로 구축하면 메트릭, 로그 등과 결합해 문맥이 풍부한 운영 환경을 구축할 수 있다. (305쪽)

오픈텔레메트리 컬렉터는 다양한 형식의 메트릭 데이터를 허용하고 오픈텔레메트리 데이터 모델을 사용하여 데이터를 전송한 다음 기존 시스템으로 내보낸다. 데이터 모델은 자동으로 속성을 제거하고 히스토그램 해상도를 낮추는 기능을 포함하여 데이터의 잘 정의된 변환을 통해 기능이나 의미의 손실 없이 프로메테우스 원격 쓰기 프로토콜로 변환하는 것이 가능하다. (348쪽)

출판사 서평

실습 애플리케이션을 이용해 직접 하면서 배우는 관측 가능성

날로 복잡해지는 기술에 따라 모니터링만으로 모든 현상을 분석하고 대비하기는 어려워졌다. 특히 클라우드 서비스를 많이 이용하여 내부 시스템을 들여다보는 것도 쉽지 않기 때문에 여러 가지 신호를 측정하여 발생 가능한 이벤트를 예측하는 것이 중요하다. 따라서 관측 가능성을 통해 발생하는 오류의 원인과 잠재적인 오류 가능성까지 살펴볼 필요가 있다.

이 책은 관측 가능성의 개념과 용어 정리부터 시작해서 프로메테우스, 그라파나, 오픈텔레메트리까지 다양한 관측 가능성 도구를 설명한다. Go 언어와 파이썬으로 개발한 마이크로서비스를 제공하며, 카오스 엔지니어링이 가능하도록 구성한 애플리케이션을 통해 실제와 유사한 환경으로 실습하도록 구성한 것이 특징이다. 분산 서비스에서 빼놓을 수 없는 쿠버네티스를 기반으로 실습하며, 그라파나 LGTM 스택 등 다양한 도구를 활용해 시스템을 구축하며 근본 원인 분석을 실시한다. 관측 가능성을 처음 접하는 사람도 쉽게 시작할 수 있도록 프로그램 설치 방법부터 대규모 서비스를 위한 클라우드 환경에서의 구축 방법까지 설명하여 실무에서 바로 적용할 수 있도록 하였다.

관측 가능성을 처음 접하는 개발자는 물론, AIOps와 운영 자동화 등 그라파나와 일래스틱서치를 운영 중인 운영자, 개발에 관심이 많은 데브옵스 개발자, 사이트 신뢰성 엔지니어(SRE)까지 도움이 될 내용이 가득 담겼다. 현장에서 바로 적용할 수 있는 다양한 실무 노하우가 가득 담긴 이 책이 한 단계 성장하는 발판이 되길 바란다.

주요 내용
● 관측 가능성의 개념과 기반 기술
● 프로메테우스 생태계 이해와 타노스 소개
● 로키, 템포, 미미르를 이용한 그라파나 관측 가능성
● 그라파나와 오픈서치 기반으로 개발된 예제 실습
● 오픈텔레메트리를 활용한 관측 가능성
● AIOps와 운영 자동화 개념과 전망

기본정보

ISBN	9791192987576
발행(출시)일자	2023년 12월 08일
쪽수	468쪽
크기	188 * 244 * 27 mm / 1010 g
총권수	1권

Klover 리뷰 (13)

[hc****]

열심히 보겠습니다.

[sh*****]

좋습니다.좋습니다.

[de*******]

무료로 책 받아서 리뷰 쓸 때는 책을 대가로 받고 리뷰 작성한다고 표기해야 하는데 IT 출판 시장은 아직 건전한 대가성 리뷰 문화가 덜 정착된 듯하다. 책을 공짜로 받았다고 혹은 대가를 받아 작성한다고 책도 읽어보지도 않고 별점 최대로 박고 리뷰하는 사람들이 양심이 너무 없다.