본문 바로가기

추천 검색어

실시간 인기 검색어

실시간 데이터 파이프라인 아키텍처

대규모 시스템 설계를 위한 스트리밍 데이터의 개념과 동작 원리
앤드류 살티스 저자(글) · 최원영 번역
비제이퍼블릭 · 2023년 01월 25일
9.6
10점 중 9.6점
(7개의 리뷰)
도움돼요 (67%의 구매자)
  • 실시간 데이터 파이프라인 아키텍처 대표 이미지
    실시간 데이터 파이프라인 아키텍처 대표 이미지
  • A4
    사이즈 비교
    210x297
    실시간 데이터 파이프라인 아키텍처 사이즈 비교 186x235
    단위 : mm
01 / 02
MD의 선택 무료배송 소득공제
10% 24,300 27,000
적립/혜택
1,350P

기본적립

5% 적립 1,350P

추가적립

  • 5만원 이상 구매 시 추가 2,000P
  • 3만원 이상 구매 시, 등급별 2~4% 추가 최대 1,350P
  • 리뷰 작성 시, e교환권 추가 최대 300원
배송안내
무료배송
배송비 안내
국내도서/외국도서
도서 포함 15,000원 이상 구매 시 무료배송
도서+사은품 또는 도서+사은품+교보Only(교보굿즈)

15,000원 미만 시 2,500원 배송비 부과

교보Only(교보배송)
각각 구매하거나 함께 20,000원 이상 구매 시 무료배송

20,000원 미만 시 2,500원 배송비 부과

해외주문 서양도서/해외주문 일본도서(교보배송)
각각 구매하거나 함께 15,000원 이상 구매 시 무료배송

15,000원 미만 시 2,500원 배송비 부과

업체배송 상품(전집, GIFT, 음반/DVD 등)
해당 상품 상세페이지 "배송비" 참고 (업체 별/판매자 별 무료배송 기준 다름)
바로드림 오늘배송
업체에서 별도 배송하여 1Box당 배송비 2,500원 부과

1Box 기준 : 도서 10권

그 외 무료배송 기준
바로드림, eBook 상품을 주문한 경우, 플래티넘/골드/실버회원 무료배송쿠폰 이용하여 주문한 경우, 무료배송 등록 상품을 주문한 경우
2/24(월) 출고예정
기본배송지 기준
배송일자 기준 안내
로그인 : 회원정보에 등록된 기본배송지
로그아웃 : '서울시 종로구 종로1' 주소 기준
로그인정확한 배송 안내를 받아보세요!

이달의 꽃과 함께 책을 받아보세요!

1권 구매 시 결제 단계에서 적용 가능합니다.

알림 신청하시면 원하시는 정보를
받아 보실 수 있습니다.

키워드 Pick

키워드 Pick 안내

관심 키워드를 주제로 다른 연관 도서를 다양하게 찾아 볼 수 있는 서비스로, 클릭 시 관심 키워드를 주제로 한 다양한 책으로 이동할 수 있습니다.
키워드는 최근 많이 찾는 순으로 정렬됩니다.

실시간 데이터 파이프라인 아키텍처 상세 이미지
비즈니스 요구사항에 따른 아키텍처의 가이드라인을 제시하는
'실시간 데이터 처리' 완벽 입문서
이제는 '실시간'의 시대다. 사용자의 반응에 빠르게 대응해야 하는 현대 인터넷 환경에서 스트리밍 데이터 파이프라인에 대한 요구는 꾸준히 커지고 있으며, 어느새 실시간 데이터를 잘 다루는 것이 업계에서 승리를 가져갈 수 있는 중요한 요건이 되었다. 하지만 이러한 시대적인 흐름에도 불구하고 아직까지 실시간 데이터를 어떻게 다룰지에 대한 명확한 가이드라인이나 경험이 없어서 도입하지 못한 곳들이 많다. 게다가 많은 개발자가 기존의 ‘동기(Sync) 방식’으로 데이터 처리하는 것에는 익숙하지만 ‘실시간(Streaming)’으로 데이터를 처리하는 데에는 어려움을 느낀다. 현재 업계 내 스트리밍 파이프라인에 대해 잘 알고 있는 전문가는 매우 부족한 실정이며, 책이나 영상 등의 콘텐츠 역시 찾아보기 힘들다.

이 책은 비즈니스 목표를 달성하기 위해 어떤 실시간 데이터 아키텍처로 구성하고 운영해야 할지 명확한 가이드라인을 제시한다. 스트리밍 데이터에 대한 정의부터 시작하여 단계별로 세분화된 아키텍처의 역할, 동작 방식, 각 장단점과 상황에 맞는 선택지를 보여준다. 그리고 스트리밍 데이터 아키텍처에 대해 공부한 지식을 기반으로 코드로 실습해 보는 시간을 가지면서 마무리한다. 기본 개념부터 아키텍처 구성, 코드 실습까지 구성되어 있으므로 실시간 데이터 처리에 대해 고민하는 개발자, 엔지니어, 조직장 등 모든 분들에게 큰 도움이 될 것이다.

소스 코드 다운로드 https://github.com/bjpublic/streaming-data

북 트레일러

  • 출판사의 사정에 따라 서비스가 변경 또는 중지될 수 있습니다.
  • Window7의 경우 사운드 연결이 없을 시, 동영상 재생에 오류가 발생할 수 있습니다. 이어폰, 스피커 등이 연결되어 있는지 확인 하시고 재생하시기 바랍니다.

작가정보

저자(글) 앤드류 살티스

Andrew Psaltis
스트리밍 시스템 개발 전문가로서 이미 풍부한 경력을 가진 그는, 실시간 데이터에서 인사이트를 찾아내는 애플리케이션 개발에 주력하고 있다. 잠잘 때를 제외한 거의 모든 시간을 스트리밍 시스템에 대한 생각과 구현에 쏟으며, 고객들을 위해 다양한 규모의 스트리밍 시스템을 만들거나 개선한다. 또한 국내외 학술 대회를 통해 스트리밍 관련 내용을 발표하고 있으며, 다른 개발자들을 위한 강의도 진행하고 있다. 여가 시간에는 사랑스러운 아내와 두 명의 아이들과 함께 시간을 보내며, 자투리 시간 대부분은 라크로스를 시청하곤 한다.

번역 최원영

카카오 광고추천팀에서 카프카 기반 실시간 데이터 파이프라인을 다루는 데이터 엔지니어. 최근에는 스트림 데이터 거버넌스를 달성하기 위한 아키텍처를 고민하며, 다양한 스트림 프로세싱 방법에 대해 학습하고 개발하고 있다. 궁금증과 도전 그리고 공유를 모토로 삼고 있으며 새로운 것에 호기심이 많으며 항상 적극적으로 탐구하는 개발자로 지내고 있다. 습득한 지식을 지속적으로 사내외로 공유하고자 노력하고 있으며 최근에는 『아파치 카프카 애플리케이션 프로그래밍 with 자바』를 집필했다. 옮긴이와 개발 관련 지식을 논의하고 싶다면 옮긴이가 운영 중인 개발 블로그나 개발 유튜브(데브원영 DVWY)을 방문하는 것을 추천한다.

ㆍ개발 블로그 : https://blog.voidmainvoid.net
ㆍ개발 유튜브 : https://bit.ly/devwonyoung

목차

  • 1부 완전히 새로운 접근법

    1장 스트리밍 데이터 소개
    1.1 실시간 시스템이란
    1.2 실시간 시스템과 스트리밍 시스템의 차이점
    1.3 스트리밍 데이터 아키텍처
    1.4 스트리밍 시스템의 보안
    1.5 서비스를 확장하는 방법
    1.6 정리

    2장 클라이언트에서 데이터 가져오기: 데이터 수집
    2.1 일반적인 통신 패턴
    2.1.1 요청/응답 패턴
    2.1.2 요청/확인응답 패턴
    2.1.3 발행/구독 패턴
    2.1.4 단방향 패턴
    2.1.5 스트림 패턴
    2.2 통신 패턴 확장하기
    2.2.1 요청/응답 파생 패턴
    2.2.2 스트림 패턴 확장하기
    2.3 내결함성
    2.3.1 RBML
    2.3.2 SBML
    2.3.3 HBL
    2.4 상용환경에 적용하기
    2.5 정리

    3장 수집 단계에서 데이터 전송: 데이터 파이프라인 분리
    3.1 메시지 큐 단계가 필요한 이유
    3.2 핵심 개념
    3.2.1 프로듀서, 브로커, 컨슈머
    3.2.2 프로듀서와 컨슈머의 격리
    3.2.3 메시지의 지속적 저장
    3.2.4 메시지 전달 시맨틱
    3.3 보안
    3.4 장애 허용
    3.5 비즈니스 요구사항들에 주요 개념을 적용해 보기
    3.6 정리

    4장 스트리밍 데이터 분석
    4.1 인플라이트 데이터 분석 이해하기
    4.2 분산 스트림 프로세싱 아키텍처
    4.3 스트림 프로세싱 프레임워크의 핵심 기능들
    4.3.1 메시지 전달 시맨틱
    4.4 정리

    5장 데이터 분석을 위한 알고리즘
    5.1 제약 조건 확인 및 완화
    5.2 시간에 대한 생각
    5.2.1 슬라이딩 윈도우
    5.2.2 텀블링 윈도우
    5.3 취합 기술들
    5.3.1 랜덤 샘플링
    5.3.2 데이터 개수 카운트
    5.3.3 빈도
    5.3.4 멤버십
    5.4 정리

    6장 분석 또는 수집한 데이터 저장
    6.1 장기 스토리지가 필요한 경우
    6.2 인메모리 저장소에 저장하기
    6.2.1 인메모리/플래시 메모리 기반 데이터베이스
    6.2.2 캐싱 시스템
    6.2.3 인메모리 데이터베이스와 인메모리 데이터 그리드
    6.3 활용 사례 살펴보기
    6.3.1 세션 내 개인화 서비스
    6.3.2 차세대 에너지 회사
    6.4 정리

    7장 데이터를 접근 가능하도록 만들기
    7.1 네트워크 통신 패턴
    7.1.1 데이터 동기화
    7.1.2 RMI와 RPC
    7.1.3 심플 메시징
    7.1.4 발행 - 구독
    7.2 클라이언트에 데이터를 전달하는 프로토콜 방식
    7.2.1 웹훅
    7.2.2 HTTP 롱풀링
    7.2.3 SSE
    7.2.4 웹소켓
    7.3 스트림 필터링
    7.3.1 어디서 필터링을 할 것인가
    7.3.2 정적 필터링 vs 동적 필터링
    7.4 실전 예제 : Meetup RSVP 스트리밍 API 만들기
    7.5 정리

    8장 컨슈머 디바이스에서 데이터 접근 시 가능성과 한계
    8.1 핵심 개념
    8.1.1 클라이언트의 읽기 속도가 빠를 경우
    8.1.2 데이터 처리 상태 관리
    8.1.3 데이터 유실 줄이기
    8.1.4 정확히 한 번으로 처리
    8.2 실제로 만들어보기: SuperMediaMarket
    8.3 웹 클라이언트 소개
    8.3.1 스트리밍 API 서버와 통합
    8.4 SQL 쿼리 적용
    8.5 정리

    2부 스트리밍 데이터 아키텍처 구현하기

    9장 실시간으로 Meetup RSVP 분석하기
    9.1 수집 단계
    9.1.1 수집 단계 애플리케이션 데이터 흐름
    9.2 메시지 큐 단계
    9.2.1 카프카 설정 및 설치
    9.2.2 수집 단계 애플리케이션과 카프카 연동
    9.3 분석 단계
    9.3.1 카프카와 연동하는 스톰 설치
    9.3.2 상위 N개의 데이터를 추출하는 스톰 토폴로지 작성
    9.3.3 분석 단계 통합
    9.4 인메모리 데이터 저장소
    9.5 데이터 접근 단계
    9.5.1 상용 환경에 적용하기
    9.6 정리

출판사 서평

실시간 데이터를 완벽히 이해하고 잘 다루고 싶은
모든 사람들을 위한 지침서!

엄청난 양과 속도로 생성되는 실시간 데이터를 이해하고 처리해야 하는 '빅데이터 시대'가 도래했습니다. 실시간 위치 데이터를 토대로 주변 맛집을 추천하고, 센서 데이터를 통해 기계의 결함을 추적하고, 고객이 매장을 떠나기 전에 디지털 영수증을 발급하는 등의 놀라운 작업들이 실시간으로 이루어집니다. 하지만 실시간 데이터를 처리하려면 스트리밍 파이프라인을 반드시 구축해야 하며, 스트리밍 파이프라인 구축 방법은 기존 동기 방식 데이터 처리와는 다르기 때문에 개발자들에게 많은 혼동을 야기하고 있습니다.

이 책은 빠르게 흐르는 스트리밍 데이터를 처리하는 방법을 알려 주는 입문서입니다. 풍부한 그림과 함께 실시간 데이터 처리에 필요한 다양한 개념을 설명하며, 예제 코드와 활용 사례들을 통해 스트리밍 데이터를 분석하고 공유 및 저장하는 애플리케이션을 만드는 방법도 학습합니다. 또한 스트리밍 애플리케이션에서 스파크, 스톰, 아파치 카프카, 플링크, 레빗엠큐 등 다양한 기술의 역할을 소개하고, 기술 종류별로 발생할 수 있는 여러 장애물들과 그에 따른 해결 방안을 알려줍니다. 최종적으로 스트리밍 데이터 아키텍처를 그리는 방법과 세부 구축 방법들도 배우게 됩니다. 이 책을 통해 실시간 데이터 수집, 처리, 저장에 대한 아키텍처를 완벽히 이해하고 현업 실무에 적용해 보세요.

〈이 책이 필요한 사람〉
ㆍ 데이터 파이프라인을 개발하고 구축해야 하는 데이터 엔지니어 및 백엔드 엔지니어
ㆍ 스트리밍 애플리케이션 기반의 엔터프라이즈 아키텍처를 구축하고 싶은 개발자
ㆍ 데이터 플랫폼 팀을 이끌고, 데이터 기반 의사결정을 내려야 하는 기업 임원
ㆍ 데이터 기반 엔지니어링 및 데이터 플랫폼 아키텍처에 관심 있는 모든 사람

기본정보

상품정보 테이블로 ISBN, 발행(출시)일자 , 쪽수, 크기, 총권수, 원서(번역서)명/저자명을(를) 나타낸 표입니다.
ISBN 9791165921941
발행(출시)일자 2023년 01월 25일
쪽수 260쪽
크기
186 * 235 * 23 mm / 665 g
총권수 1권
원서(번역서)명/저자명 Streaming Data/Andrew Psaltis

Klover 리뷰 (7)

구매 후 리뷰 작성 시, e교환권 200원 적립

10점 중 10점
/도움돼요
두께가 얇고 데이터 수집 단계별로 나눠서 설명해 나쁘지 않다.
10점 중 10점
/도움돼요
좋습니다.좋습니다.
10점 중 7.5점
/도움돼요
관심있게 잘 보고있습니다.
10점 중 10점
/도움돼요
공부하는데 많은 도움이 됐습니다.
10점 중 10점
/추천해요
카프카 프로듀서와 컨슈머를 구현하여 데이터를 분석하는 최신 기술서라고 생각되어 구매했어요
10점 중 10점
/최고예요
최신기술 적혀있습다

문장수집 (3)

문장수집 안내
문장수집은 고객님들이 직접 선정한 책의 좋은 문장을 보여주는 교보문고의 새로운 서비스입니다. 마음을 두드린 문장들을 기록하고 좋은 글귀들은 "좋아요“ 하여 모아보세요. 도서 문장과 무관한 내용 등록 시 별도 통보 없이 삭제될 수 있습니다.
리워드 안내
구매 후 90일 이내에 문장수집 작성 시 e교환권 100원을 적립해드립니다.
e교환권은 적립 일로부터 180일 동안 사용 가능합니다. 리워드는 작성 후 다음 날 제공되며, 발송 전 작성 시 발송 완료 후 익일 제공됩니다.
리워드는 한 상품에 최초 1회만 제공됩니다.
주문취소/반품/절판/품절 시 리워드 대상에서 제외됩니다.
판매가 5,000원 미만 상품의 경우 리워드 지급 대상에서 제외됩니다. (2024년 9월 30일부터 적용)

구매 후 리뷰 작성 시, e교환권 100원 적립

매니저는 스트림 프로세서의 생애주기를 관리한다.
실시간 데이터 파이프라인 아키텍처
실시간 데이터를 어떻게 다룰지에 대한 명확한 가이드라인이나 경험
실시간 데이터 파이프라인 아키텍처

교환/반품/품절 안내

  • 반품/교환방법

    마이룸 > 주문관리 > 주문/배송내역 > 주문조회 > 반품/교환 신청, [1:1 상담 > 반품/교환/환불] 또는 고객센터 (1544-1900)
    * 오픈마켓, 해외배송 주문, 기프트 주문시 [1:1 상담>반품/교환/환불] 또는 고객센터 (1544-1900)
  • 반품/교환가능 기간

    변심반품의 경우 수령 후 7일 이내,
    상품의 결함 및 계약내용과 다를 경우 문제점 발견 후 30일 이내
  • 반품/교환비용

    변심 혹은 구매착오로 인한 반품/교환은 반송료 고객 부담
  • 반품/교환 불가 사유

    1) 소비자의 책임 있는 사유로 상품 등이 손실 또는 훼손된 경우
    (단지 확인을 위한 포장 훼손은 제외)
    2) 소비자의 사용, 포장 개봉에 의해 상품 등의 가치가 현저히 감소한 경우
    예) 화장품, 식품, 가전제품(악세서리 포함) 등
    3) 복제가 가능한 상품 등의 포장을 훼손한 경우
    예) 음반/DVD/비디오, 소프트웨어, 만화책, 잡지, 영상 화보집
    4) 소비자의 요청에 따라 개별적으로 주문 제작되는 상품의 경우 ((1)해외주문도서)
    5) 디지털 컨텐츠인 ebook, 오디오북 등을 1회이상 ‘다운로드’를 받았거나 '바로보기'로 열람한 경우
    6) 시간의 경과에 의해 재판매가 곤란한 정도로 가치가 현저히 감소한 경우
    7) 전자상거래 등에서의 소비자보호에 관한 법률이 정하는 소비자 청약철회 제한 내용에 해당되는 경우
    8) 세트상품 일부만 반품 불가 (필요시 세트상품 반품 후 낱권 재구매)
    9) 기타 반품 불가 품목 - 잡지, 테이프, 대학입시자료, 사진집, 방통대 교재, 교과서, 만화, 미디어전품목, 악보집, 정부간행물, 지도, 각종 수험서, 적성검사자료, 성경, 사전, 법령집, 지류, 필기구류, 시즌상품, 개봉한 상품 등
  • 상품 품절

    공급사(출판사) 재고 사정에 의해 품절/지연될 수 있으며, 품절 시 관련 사항에 대해서는 이메일과 문자로 안내드리겠습니다.
  • 소비자 피해보상 환불 지연에 따른 배상

    1) 상품의 불량에 의한 교환, A/S, 환불, 품질보증 및 피해보상 등에 관한 사항은 소비자분쟁 해결 기준 (공정거래위원회 고시)에 준하여 처리됨
    2) 대금 환불 및 환불지연에 따른 배상금 지급 조건, 절차 등은 전자상거래 등에서의 소비자 보호에 관한 법률에 따라 처리함

상품 설명에 반품/교환 관련한 안내가 있는 경우 그 내용을 우선으로 합니다. (업체 사정에 따라 달라질 수 있습니다.)

TOP