이클립스 환경에서의 빅데이터 프로그래밍

황세규 저자(글)

지앤선 · 2015년 01월 29일 (1쇄 2015년 01월 27일)

책 소개

[빅데이터 프로그래밍]은 Hadoop 프레임워크의 이론에 대한 설명과 더불어 예제를 Hadoop 2.2 용 Eclipse 플러그인을 사용하여 Eclipse 통합 환경의 맵리듀스 퍼스펙티브 환경에서 Hadoop 프로젝트를 개발, 구현하고 배포하는 데 목적을 둔다. 대표적인 NoSQL인 HBase와 MongoDB를 다루는 챕터에서도 NoSQL의 운영과 관리보다는 Hadoop을 다룬 챕터와 같이 Eclipse 환경의 맵리듀스 퍼스펙티브 환경에서 Java 프로그래밍에 초점을 맞추었다.

작가정보

저자(글) 황세규

저자 황세규는 연세대학교에서 기계공학을 전공하였고 대학원에서 석사학위를 취득하였다. 2000 년 부터 IT업무를 시작하였지만 현재는 재충전의 시간을 갖고 있다. 주로 Business Intelligence(BI) 솔루션 개발 경력을 가지고 있으며 지금도 새로운 개념의 BI 솔루션에 대해 연구하고 있다. DW/BI와 더불어 빅데이터와 클라우드 환경에 대한 솔루션을 계속 공부하고 있으며 이를 아우르는 비즈니스에 많은 관심을 가지고 있다. 한국 JBoss User Group의 회원으로 활동하고 있으며, 저서로 《Eclipse와 JBoss7을 이용한 Java 웹서비스 구축, 홍릉과학출판사》이 있다.

목차

• 1장 빅데이터 개요
  1.1 빅데이터 정의 및 배경
  1.2 빅데이터 역사
  1.3 빅데이터 기술
  1.4 적용 사례
  1.4.1 구글 감기 트렌드 분석
  1.4.2 아마존 추천검색
  1.4.3 미국 오바마 선거 캠프
  1.4.4 서울시 심야버스 노선
  
  2장 Hadoop 2.0
  2.1 Hadoop 2.0 특징
  2.2 HDFS 2
  2.3 YARN
  
  3장 Hadoop 2.2 개발환경
  3.1 Hadoop 2.2 설치
  3.1.1 SSH 설정
  3.1.2 Hadoop 2.2 설치 및 환경설정
  3.2 Hadoop Eclipse Plugin 설치
  3.3 실습 데이터 준비
  3.3.1 데이터 다운로드
  3.3.2 데이터 분석
  3.3.3 데이터 추출 함수
  
  4장 HDFS 프로그래밍
  4.1 HDFS 명령어 설명
  4.1.1 파일 조회
  4.1.2 파일 조작
  4.1.3 파일 관리
  4.2 HDFS API 설명
  4.2.1 Configuration 클래스
  4.2.2 Path 클래스
  4.2.3 FileSystem 클래스
  4.2.4 FileStatus 클래스
  4.3 실습
  
  5장 기본 Map-Reduce 프로그래밍
  5.1 개요
  5.2 API 설명
  5.2.1 Map Reduce 기본 데이터 타입 클래스
  5.2.2 Map 클래스
  5.2.3 Reduce 클래스
  5.2.4 Job 클래스
  5.2.5 InputFormat 클래스
  5.2.6 OutputFormat 클래스
  5.3 기본 예제
  5.3.1 글자수 계산 예제 (WordCount)
  5.3.2 데이터 추출 실습 예제 (MapredDataETL)
  
  6장 고급 Map-Reduce 프로그래밍
  6.1 사용자 정의 복합키
  6.1.1 개념
  6.1.2 API 설명
  6.1.3 복합키 예제 (MapredDataSort)
  6.2 다중 출력
  6.2.1 개념
  6.2.2 API 설명
  6.2.3 다중 출력 예제 (MapredDataMultioutputs)
  6.3 Join
  6.3.1 개념
  6.3.2 API 설명
  6.3.3 Join 예제 (MapredDataJoin)
  6.4 Chain Map/Reduce
  6.4.1 개념
  6.4.2 API 설명
  6.4.3 Chain Map Reduce 예제 (MapredDataChain)
  
  7장 Hive 프로그래밍
  7.1 개요 및 아키텍처
  7.1.1 Hive 개요 및 아키텍처
  7.1.2 설치 및 Eclipse 연동
  7.2 HiveQL
  7.2.1 데이터 형
  7.2.2 데이터 정의 언어
  7.2.3 데이터 조작 언어
  7.2.4 데이터 쿼리 언어
  7.3 실습
  
  8장 NoSQL 등장
  8.1 NoSQL의 정의와 개요
  8.2 NoSQL의 데이터 모델 및 종류
  8.2.1 Key-Value 형
  8.2.2 Column 형
  8.2.3 Document 형
  
  9장 HBase 프로그래밍
  9.1 HBase 개요
  9.1.1 HBase 개념 및 구조
  9.1.2 HBase 설치 및 설정
  9.1.3 기본 관리
  9.2 HBase Java API
  9.2.1 기본 API 설명
  9.2.2 관리 기능 API 설명
  9.2.3 Map/Reduce API 설명
  9.3 HBase Java 예제
  9.3.1 HBase Java API 예제 1
  9.3.2 HBase MapReduce 예제 1
  9.3.3 HBase MapReduce 예제 2
  
  10장 MongoDB 프로그래밍
  10.1 MongoDB 개요
  10.1.1 MongoDB 개념 및 구조
  10.1.2 MongoDB 설치 및 설정
  10.1.3 기본 관리
  10.2 Mongo Java API
  10.2.1 API 설명
  10.2.2 Mongo Java API 예제 1 (MongoJavaClient)
  10.2.3 Mongo Java API 예제 2 (MongoJavaMapred)
  10.3 Mongo Hadoop API
  10.3.1 API 설명
  10.3.2 Mongo Hadoop API 예제 1 (MongoHadoopDBInsert)

책 속으로

서문 중에서

현재 차세대 정보통신 기술의 핵심 키워드의 하나로 빅 데이터를 거론하는 것은 너무 당연한 선택일 것이다. 비단 우리나라뿐만 아니라 전 세계의 정보통신 분야에서도 빅데이터는 가장 주목받는 트렌드 중 하나이다. 어느 정보통신 전문매체에 나온 기사에서 미국 어느 백화점의 빅데이터 사례를 읽어 본 적이 있다.

이 백화점은 고객들의 동선 파악은 물론 카메라를 통하여 고객의 눈동자 움직임까지 데이터로 수집하고 빅데이터 시스템에서 분석하여 이를 제품 전시에 활용한다는 내용이었다. 국내에서도 서울시의 이동통신 빅데이터를 활용한 교통시스템 분석은 우리에게도 익숙한 성공사례이다. 이런 빅데이터 기술의 성장은 이 책의 내용에서도 언급하겠지만 미국 Google 사의 Google File System과 Map-Reduce 논문으로 시작하여 아파치 재단의 Hadoop 이라는 오픈소스의 보급이 가능했기 때문일 것이다. 지금도 전 세계의 많은 빅데이터 기술 업체들은 더 편리하고 진보된 오픈 소스 형태의 프로젝트를 선보이고 있다. 많은 국내 기업들도 다양한 빅데이터 관련 프로젝트를 진행하고 있다. 그루터의 타조(Tajo) 프로젝트, KT 넥스알의 NDAP 플랫폼, 클라우다인의 플라밍고 프로젝트 등이 있다.(이하 생략)

출판사 서평

처음 빅데이터 프로그래밍에 발을 들이는 개발자는 맵리듀스 프레임워크의 개념 이해와 함께 개발 환경에서 어려움을 겪는 일이 있다. 주로 Java로 맵리듀스와 Hive, NoSQL인 HBase, MongoDB 등을 프로그래밍 하는데 이전에 익숙해져 있던 Eclipse 통합 개발 환경과의 연계가 명료하지 못하였다. 이 책은 Hadoop 프레임워크의 이론에 대한 설명과 더불어 예제를 Hadoop 2.2 용 Eclipse 플러그인을 사용하여 Eclipse 통합 환경의 맵리듀스 퍼스펙티브 환경에서 Hadoop 프로젝트를 개발, 구현하고 배포하는 데 목적을 둔다. 또한 대표적인 NoSQL인 HBase와 MongoDB를 다루는 챕터에서도 NoSQL의 운영과 관리보다는 Hadoop을 다룬 챕터와 같이 Eclipse 환경의 맵리듀스 퍼스펙티브 환경에서 Java 프로그래밍에 초점을 맞추었다.

HBase와 MongoDB의 개념과 API를 이해한다면 이 책의 NoSQL 예제의 난이도는 Eclipse 환경에서 일반 관계형 데이터베이스의 Java 프로그래밍과 큰 차이를 보이지 않을 것이다. 또한 모든 예제는 프로젝트 생성 시 맵리듀스 퍼스펙티브가 자동으로 빌드 경로로 Hadoop 패키지를 추가한다. 따라서 예제에서 사용되는 클래스와 인터페이스를 Eclipse 개발 환경의 코드 어시스턴스(code assistance) 기능으로 손 쉽게 구현할 수 있다. 이전의 Eclipse 통합 개발 환경에서 Java 프로그래밍을 구현한 개발자는 동일한 환경에서 Hadoop 2.2의 파일 시스템과 맵리듀스의 개념을 이해하고 실습 및 배포를 할 수 있다. 그리고 Hive와 NoSQL의 HBase와 MongoDB에 대해서도 관계형 데이터베이스와 거의 비슷한 과정과 난이도로 Java를 이용한 맵리듀스 프로그래밍이 가능하다. 이 책은 Hadoop 2.2와 맵리듀스, Hive, 그리고 NoSQL의 HBase와 MongoDB의 초심자들과 대규모 프로젝트에 앞서 소규모 파일럿 프로젝트 수행자들에게 추천할 만한 내용이 될 것이다.

이 책의 구성

《1장 빅데이터의 개요》에서는 빅 데이터의 정의 및 역사와 적용 사례를 통하여 개념을 공부한다. 이미 빅 데이터에 대한 사전지식을 가지고 있는 독자라면 가벼운 마음으로 읽어 봐도 좋을 것이다. 관계형 데이터베이스와의 차이와 장단점을 비교 분석하였고 구축 개념의 차이도 설명하였다.

《2장 Hadoop 2.0》에서는 이전의 Hadoop 1.x보다 진일보한 Hadoop 2의 특징을 간단하게 설명하였다.

《3장 Hadoop 2.2 개발 환경》은 이 책의 예제 개발 환경을 설명하였다.

《4장 HDFS 프로그래밍》은 Hadoop 분산 파일 시스템에 대한 설명과 API 소개, 그리고 예제를 다루었다.

《5장 기본 Map-Reduce 프로그래밍》과 《6장 고급 Map-Reduce 프로그래밍》에서는Hadoop의 맵리듀스 프레임워크와 API, Eclipse 맵리듀스 퍼스펙티브에서의 예제 프로그래밍에 대해 설명을 하고 있다.

《7장 Hive 프로그래밍》에서는 Hadoop 생태계의 데이터 웨어하우스 용 SQL on Hadoop 프로젝트인 Hive에 대해 설명한다. 예제는 앞 절의 맵리듀스 예제를 HiveQL로 동일하게 구현하였다.

《8장 NoSQL 등장》에서는 빅데이터 데이터베이스인 NoSQL의 개념과 구조에 대해 설명하였다. 관계형 데이터베이스와의 내부적인 구현 이론을 비교 분석하였고 《Key-Value》 구조의 NoSQL 데이터베이스에 대해서 설명한다.

《9장 HBase 프로그래밍》에서는 Hadoop 생태계의 대표적인 NoSQL 데이터베이스인 HBase에 대해 설명하였다. 기본 구조와 데이터베이스 관리적인 측면은 개념적으로만 설명하였고 Eclipse 환경에서 HBase의 Java 프로그래밍에 대해 API 설명과 함께 예제를 중점적으로 설명하였다.

《10장 MongoDB 프로그래밍》에서는 현재 NoSQL중 가장 많은 점유율을 갖는 MongoDB에 대해 설명하였다. 9장과 마찬가지로 데이터베이스의 개념과 관리는 개념적인 설명으로 정리하였고 책의 요지에 맞게 Java API 설명과 Eclipse 환경에서 Java를 이용한 MongoDB 프로그래밍에 중점을 두었다.

기본정보

ISBN	9788993827897 ( 8993827893 )
발행(출시)일자	2015년 01월 29일 (1쇄 2015년 01월 27일)
쪽수	400쪽
크기	173 * 230 mm / 760 g
총권수	1권