빅데이터 저장 및 분석을 위한 NoSQL & Redis

주종면 저자(글) · NoSQL 한국 사용자그룹 감수

데이터북 · 2019년 03월 10일

책 소개

ㆍ 도서 특징
⑴ Redis의 주요 구조와 기술들을 도형 그림을 통해 체계적인 설명과 원리 위주로 학습합니다.
⑵ 각 장에서 소개하는 기술들에 대해 실습이 가능하도록 구성되어 있습니다. Redis의 핵심 솔루션 중에 하나인 분산 시스템과 복제 시스템은 여러 대의 서버에서 구축되지만 하나의 서버에서도 테스트가 가능하도록 실습이 제공됩니다. 교재에서 설명되는 모든 기술에 대한 “따라하기” 실습이 제공됩니다.
⑶ 저자와의 만남(실습 파일 및 질문 게시판 제공 : www.pitmongo.co.kr)을 통해 학습할 수 있기 때문에 학습 효과를 2배로 높일 수 있습니다.

작가정보

저자(글) 주종면

1. 현. (주)플랜정보기술 대표 컨설턴트(www.pitmongo.co.kr)
MongoDB Master 공인 전문가 (국내 1호)
오라클 공인 ACE (최고의 엔지니어에게 부여하는 기술 등급)
한국데이터산업진흥원 SQL 전문 위원
NoSQL 한국 사용자 그룹(www.nosql-korea.org) 운영자

전. 한국정보화진흥원 빅데이터 커뮤니티 운영자 및 기술 위원
전. Recurit4You Co.(미국 Ohio주 소재)/데이터베이스 컨설턴트
전. 오라클 교육센터 전문강사 및 컨설턴트
전. 프랑스 쌍고방그룹 Vetrotex Korea Co. 정보관리팀/데이터베이스 관리자
전. 삼미그룹 삼미전산(주) 시스템사업부/프로그래머
전. 육군 26사단 전산실/프로그래머

2. 주요 강의경력 (1995 ~ 현재)
ㆍ중소기업청 후원 DB 산학연계 컨설팅
ㆍTMAX 교육센터 DB 교육ㆍ중소기업 후원 DB 현장방문 교육
ㆍ서울시 데이터 센터 (2004.5 ~ 현재)
ㆍ한국 썬 교육센터 (2005. 4 ~ 현재)
ㆍ덕성여대 인터넷학과 (2005. 3 ~ 7)
ㆍ한국 데이터베이스 진흥센터 (2003. 8 ~ 현재)
ㆍ한국 생산성 본부 (2002. 10 ~ 2002. 12)
ㆍ한국 오라클 교육센터 (1996. 7 ~ 2002. 8)
ㆍ한국통신 인재개발원 (2002. 4 ~ 2005. 10)
ㆍ농협 중앙회 정보분사 (2002. 11 ~ 현재)
ㆍ현대정보기술 교육센터 (2002. 5 ~ 현재)
ㆍ삼성 SDS 멀티캠퍼스 (2001. 7 ~ 2004. 4)
ㆍLG-NSYS 교육센터
ㆍCJ 시스템즈 교육센터 (2002. 10 ~ 현재)
ㆍ쌍용정보통신
ㆍ서울대학교 정보교육원 (2002. 4 ~ 2003.5)
ㆍ동서대학교정보교육원(1999.2 ~ 1999. 12)
ㆍ동의동업전문대학 (2000. 1 ~ 2000. 12)
ㆍ포스데이터, 대림 I&S, 아시아나 항공, 한국전력, 굿모닝 증권,
ㆍ(주)바이릿지, (주)오르비스, 하나은행, 주택금융공사, ㈜오토에버시스템즈
ㆍ외 다수업체

3. 강의과목
ㆍMongoDB Development & Administration
ㆍNsSQL (Redis, Cassandra, Neo4J 등) 기술 교육
ㆍ객체지향 분석/설계기법(UML 기반)
ㆍRDB를 위한 데이터 모델링
ㆍ오라클 데이터베이스 Administrration
ㆍSQL 문장 튜닝
ㆍPerformance 튜닝
ㆍ대용량 데이터베이스 솔루션
ㆍBackup & Recovery and Network Administration
ㆍSQL and PL/SQL
ㆍ3GL with ORACLE
ㆍOracle Web Application Server for Developers

4. 개발 Project (1983년 ~ 현재)
ㆍ한전전력연구원 빅데이터 시스템 컨설팅
ㆍKT연구소 영농이력관리 빅데이터 설계
ㆍ(주)누리텔레콤 AIMIR DB 성능 튜닝
ㆍ서울시 데이터센터 빅데이터 시스템 운영
ㆍ서울보훈병원 SQL 튜닝 및 분석
ㆍ(주)한국 오르비스 판매관리 DB 설계
ㆍ바이릿지(주) 백업 DB 설계
ㆍ중소기업 후원 DB 산학연계 컨설팅
ㆍ농협 DB 기술 컨설팅
ㆍ한국통신 DB 튜닝 & 설계 교육 및 컨설팅
ㆍ메리놀병원 홈페이지 개발
ㆍ중고 자동차매매조합 홈페이지 개발
ㆍ메리놀 병원/동의의료원 DB 컨설팅
ㆍ성창기업 DB 컨설팅
ㆍ일본 전자계산소 자산관리 시스템 개발
ㆍ제일제당(주) 물류관리 시스템 분석/설계
ㆍ동남은행 DB 컨설팅
ㆍ한국 중공업 인사관리 시스템 개발
ㆍ밀양대학교 학사/행정관리 시스템 분석/설계
ㆍ우경철강(주) MIS 시스템(분석/설계)
ㆍVetrotex Korea Co. 생산/공정/근태관리 개발
ㆍ공군 물류관리 시스템 개발 ㆍ공장자동화 시스템 개발
ㆍ육군 저축관리 시스템 개발

5. 출간저서 및 수상
2017 도서출판 DataBook "New MongoDB Master 해설하는 NoSQL & MongoDB"
2015 중소기업청 주관 "빅 데이터 저장용 MongoDB 모니터링 툴" 개발
MongoDB 설계를 위한 Class Diagram 특허획득
MongoDB 모니터링을 위한 관리기술 특허출원
중소기업진흥공단 벤처기업 인증
2014 도서출판 DataBook “New MongoDB Master가 해설하는 NoSQL & MongoDB”
2013 도서출판 DataBook “MongoDB Master가 해설하는 NoSQL & MongoDB”
2012 도서출판 DataBook “오라클 11g New 대용량 데이터베이스 성능 튜닝”
2011 도서출판 DataBook “New 데이터 아키텍처 & 데이터 모델링”
2010 이한출판사“오라클 ACE가 해설하는 Backup & Recovery”
2009 도서출판 DataBook “오라클 New 대용량 데이터베이스 성능 튜닝”
2008 이한출판사“오라클 ACE가 해설하는 10g Administration”
2008 이한출판사“오라클 ACE가 해설하는 SQL & PL-SQL 10g”
2007 미국 오라클 본사 명예의 전당 가입(오라클 ACE 최고의 기술등급 수상)
2006 서울시장 정보화 교육 특별상 수상
2005 서울시 Data 센터“데이터베이스의 분석과 설계” 온라인 강좌 개설
2005 한국 DB진흥센터“2005년 데이터베이스 백서”
2004 대림출판사“오라클 장애와 복구 & 네트워크 관리”
2004 프리렉출판“주종면의 오라클 전문가 만들기”
2003 프리렉출판“오라클 데이터베이스 모델링”
2003 프리렉출판“오라클 SQL 튜닝 & 서버 튜닝”
2002 프리렉출판“오라클 9i SQL & PL/SQL”
2001 대림출판사“클릭하세요 오라클 9i”
2000 대림출판사“클릭하세요 오라클 8i”
1999 대림출판사“지나와 함께하는 오라클 8”
1998 대림출판사“ORACLE-Unleashed”1997 대림출판사“SQL-Unleashed”

[전문잡지 기고]
월간 마이크로 소프트웨어 특집기사(3회)
월간 마이크로 소프트웨어 DB 프로그래밍 독점연재(12회)
월간 PC 자격증 “OCP” 분야 독점연재(3회)

감수 NoSQL 한국 사용자그룹

목차

• PREFACE
  책의 특징과 구성
  
  CHAPTER 1. NoSQL & Redis 소개 15
  
  1.1 NoSQL 개념 16
  1.2 NoSQL 종류 19
  1.2.1 NoSQL 제품 19
  1.2.2 빅데이터 데이터 모델링을 위한 가이드라인 20
  1.3 키-밸류(KeyValue) DB 활용 23
  1.3.1 장점 23
  1.3.2 활용 영역 25
  1.4 NoSQL 선정 방법 27
  
  CHAPTER 2. Redis 설치 및 데이터 처리 31
  
  2.1 주요 특징 32
  2.2 제품 유형 34
  2.3 다운로더 및 설치 37
  2.3.1 Redis 설치 on Linux 37
  2.3.2 Redis 설치 on Windows 41
  2.4 Redis 시작과 종료 45
  2.4.1 시작 & 종료 on Linux 45
  2.4.2 시작 & 종료 on Windows 51
  2.5 데이터 처리 54
  2.5.1 용어 설명 54
  2.5.2 데이터 입력/수정/삭제/조회 55
  2.5.3 데이터 타입 59
  2.6 Redis 확장 Module 74
  2.6.1 REJSON 75
  2.6.2 REDISQL 78
  2.7 Lua Function & Script 81
  
  CHAPTER 3. 트랜잭션 제어 & 사용자 관리 85
  
  3.1 Isolation & Lock 86
  3.2 CAS(Check and Set) 87
  3.3 commit & rollback 88
  3.4 Index 유형 및 생성 89
  3.5 사용자 생성 및 인증/보안/Roles 92
  
  CHAPTER 4. Redis Data Modeling 97
  
  4.1 키-밸류(KeyValue) 데이터 모델링 개념 98
  4.1.1 용어 설명 98
  4.1.2 Redis 데이터 모델링 가이드라인 99
  4.1.3 데이터 모델 103
  4.2 논리적 DB설계 113
  4.3 swapDB 설계 114
  
  CHAPTER 5. Redis 아키텍처 115
  
  5.1 Redis 아키텍처 116
  5.2 시스템 & Disk 사양 121
  5.3 메모리 운영기법 125
  5.4 LazyFree 파라메터 129
  5.5 데이터 Persistence 132
  5.6 Copy on Write 135
  5.7 Benchmark For Redis 137
  5.8 관리 명령어 141
  5.9 Data Export & Import 147
  5.10 Redis Serialization Protocol & Mass Insertion 149
  
  CHAPTER 6. Redis Cluster 시스템 & 로그 모니터링 153
  6.1 복제&분산시스템개요 154
  6.1.1 Partition 유형 156
  6.1.2 Partition 구현 방법 158
  6.2 Master & Slave & Sentinel 161
  6.2.1 시스템 설정 161
  6.2.2 장애처리 방법 171
  6.2.3 Sentinel 명령어 174
  6.3 부분 동기화 179
  6.4 Redis Cluster 구축 및 운영 180
  6.4.1 Cluster 서버 180
  6.4.2 Cluster 명령어를 이용한 수동 설정방법 183
  6.4.3 Cluster 명령어 197
  6.4.4 redis-trib.rb 유틸리티를 이용한 자동 설정방법 200
  6.4.5 redis-trib.rb 유틸리티를 이용한 자동 설정방법 225
  6.5 Redis Cluster 장애 복구 228
  6.5.1 Master/Slave Failover & AutoSwitch 228
  6.5.2 Master 서버를 이용한 Slave 서버 복구 231
  6.6 Client for Redis Server 234
  6.6.1 JEDIS 234
  6.6.2 Redisson 237
  6.6.3 Lettuce 239
  6.7 Logging & Monitoring 240
  6.8 Subscribe & Publish 243
  6.9 Server Monitor 245
  
  CHAPTER 7. Redis 성능 튜닝 247
  
  7.1 성능 튜닝 방법론 248
  7.2 성능 튜닝 포인트 251
  7.3 시스템 튜닝 253
  7.3.1 대기시간 모니터링 257
  7.4 Slow-Query 튜닝 260
  7.5 서버튜닝 263
  7.5.1 스와핑(SWaping) 모니터링 & 대응 방안 263
  7.5.2 AOF 파일에서 발생하는 디스크 IO 문제에 대한 대응 방안 266
  7.5.3 ScaleOut을 통한 분산 서버 구축 방안 267
  7.5.4 손상된 메모리 영역에 대한 충분한 테스트와 검증을 통한 안정화 방안 267
  7.5.5 Redis GDB(Gnu Debugger) 가이드를 이용한 버그 수집 및 분석을 통한 안정화 방안 269
  
  INDEX

책 속으로

[머리말]
최근 정보통신 기술 분야는 빅데이터, AI, 자율주행 자동차, 5G, 폴더폰, 드론 등 4차 산업혁명을 위한 기술들이 급속하게 보급되면서 다양하게 변화되고 있는 것이 현실입니다. 1950년대 말 컴퓨터가 발명된 이래로 70년이 지나면서 기업과 개인의 일상에는 우리가 생각할 수 없을 만큼의 수많은 정보와 데이터가 발생하고 있으며 미래에는 이보다 수십 배, 수백 배, 수천 배 많은 빅 데이터 들이 발생할 것으로 예상하고 있습니다.
이와 같은 빅 데이터를 저장할 수 있는 보다 효율적인 저장구조가 필요하지만 여전히 많은 기업들은 전형적인 관계형 DBMS(Relational Database Management System)에 의존하고 있습니다.

이에 2000년대 초부터 새로운 기술 변화에 최적화된 데이터 저장 기술에 대한 뜨거운 관심과 열정의 결실로 NoSQL이라는 새로운 DBMS가 등장하기 시작했는데 MongoDB, Redis, Cassandra, Neo4J 등과 같은 제품들입니다.
이와 같은 제품들의 가장 특징은 오픈소스(Open Source)로 개발되었다는 점이며 오픈 소스하면 가장 먼저 떠오르는 SW로는 구글 크롬, 안드로이드, 리눅스(RedHat, Pedora, CentOs, Ubuntu 등)와 같은 제품일 것입니다.
NoSQL은 이와 같은 새로운 SW 생태계에 힘입어 데이터를 저장 관리할 수 있는 DBMS이며 오픈 소스를 표방하며 개발 지원되고 있습니다.

필자는 1983년 국내 IT 분야에 처음 몸담은 이후로 10년간 프로그래머로 활동했으며 1990년대 초 국내에 DBMS가 도입되면서 DBA, Data Architector, Data Consultant로 현재까지 활동해 오고 있습니다.
오랜 세월 동안 데이터베이스 분야에 몸담아 오면서 기존의 파일 시스템, 관계형 DBMS로는 향후 50년 이후 미래에 발생하게 될 빅 데이터 처리에 한계가 있을 것을 예측했고 이에 2000년대부터 새로운 대체 기술에 대한 꾸준한 관심과 발굴에 힘써 왔습니다.

필자는 이미 2013년에 Document DB 분야에서 선두를 달리고 있는 MongoDB 기술을 소개하는 “NoSQL & mongoDB"라는 서적을 출간한 바 있으며 현재 서점에서 구매하실 수 있습니다. 이와 더불어 NoSQL 분야에서 Key-Value 데이터베이스 기술을 선도하고 있는 Redis에 대한 보급과 확산을 위해 이 책을 집필하게 되었습니다.
이 책의 집필을 응원하고 지원해 주신 NoSQL 한국 사용자 그룹의 멤버들과 관련자 분들께 지면으로 감사의 마음을 전합니다. 마지막으로 사랑하는 딸 영현이가 자신의 꿈과 희망을 가지고 미래를 슬기롭게 헤쳐 나기를 응원합니다.

주 종 면

출판사 서평

ㆍ 도서 구성
1장. NoSQL & Redis 소개
이번 Chapter에서는 NoSQL의 개념과 필요성에 대해 시대적 배경을 기반으로 설명하며 그 중에 대표적인 키-밸류(Key--Value) DB인 Redis Server에 대한 제품 소개를 합니다.

2장. Redis 설치 및 데이터 처리
Redis와 같은 NoSQL 기술이 왜 필요한지 개념을 이해하셨다면 직접 Download한 다음 설치해 보고 시작(Startup)과 종료(Shutdown) 방법에 대해 학습해 볼 것입니다. 또한 기본 문법을 통해 데이터를 입력, 수정, 삭제, 조회하는 방법을 학습해 봅니다.

3장. 트랜잭션 제어 & 사용자 관리
기존 관계형 DBMS의 경우 사용자는 COMMIT, ROLLBACK 문장을 통해 직접 트랜잭션을 제어할 수 있었습니다. NoSQL과 Redis Server에서 트랜잭션 처리는 어떻게 할 수 있는지 제어 방법에 대해 소개합니다.

4장. Redis Data Modeling
오라클, SQL-Server, MY-SQL과 같은 관계형 데이터베이스에 테이블과 인덱스와 같은 논리적 저장 구조를 생성하기 위해서는 정규화 또는 반정규화라는 분석, 설계 단계가 요구됩니다. Redis Server 또한 하나의 저장 기술이기 때문에 이와 같은 분석, 설계가 과정이 필요한데 이를 이해하기 위해서는 Redis Server의 설계 방법(Data Modeling)에 대해 반드시 알아야 합니다.

5장. Redis 아키텍처 & 운영관리
이번 Chapter에서는 Redis Server 아키텍처를 도형 및 그림을 통해 알아보고 물리적 구조 (메모리,디스크, CPU 영역)와 논리적 구조(테이블, 인덱스, 사용자 등)의 특징 대해 분석해 본 다음 효과적인 운영 방법에 대해 설명 드리겠습니다.

6장. Redis Cluster 시스템 & 로그 모니터링
Redis Server는 대표적인 인-메모리(In-Memory) 기반의 저장구조이기 때문에 예기치 못한 다양한 장애가 발생하는 경우 데이터가 유실될 수도 있기 때문에 무엇보다도 데이터의 안전한 저장과 복구가 필수적으로 요구되는 기술입니다. 또한 초당 10만~20만 건 이상의 빅데이터가 발생하거나 수 테라~수백 테라에 이르는 데이터를 빠르게 쓰고 읽기를 통해 의미 있는 데이터로 가공 처리 및 분석이 요구되는 시스템 환경에 사용됩니다. 이를 완벽하게 보장하기 위한 솔루션을 Redis Cluster 시스템이라고 합니다.

7장. Redis 성능 튜닝
Redis 서버의 성능 지연 문제를 유발시키는 원인은 매우 다양합니다. 개발자가 작성한 쿼리(Query) 문장부터 인덱스의 생성 여부, 종류 그리고 Redis 서버가 설치되어 있는 시스템의 사양에 이르는 수 많은 요소들이 원인이 될 수 있으며 어떤 경우, 이러한 요소들이 복합적으로 결합되어 문제를 유발시키기도 합니다. 이 경우 하나의 단편화된 지식과 경험 만으로 원인분석과 문제해결 하는 것은 결코 쉬운 일이 않으며 불필요한 시간과 비용 만 낭비하는 경우도 종종 발생합니다. 7장에서는 Redis 서버의 성능 지연문제를 유발시키는 원인과 대응 방안에 대해 소개합니다.

기본정보

ISBN	9788996311492
발행(출시)일자	2019년 03월 10일
쪽수	282쪽
크기	188 * 257 * 15 mm / 577 g
총권수	1권

Klover

[wi********]

레디스 구성에 이해가 됩니다.

[hy******]

저자분 존경스럽네요 항상 매사에 열심히시네요

[br*******]

회사에서 기술서적으로 같이 보기위해 구입했어요

[sh****]

gooodd

[na******]

잘 읽히네요~