파이썬을 이용한 빅데이터 수집, 분석과 시각화

페이스북 트위터 네이버 공공 일반 웹 데이터 기반

이원하 저자(글)

비팬북스 · 2017년 06월 20일

책 소개

『파이썬을 이용한 빅데이터 수집, 분석과 시각화』는 빅데이터 수집, 분석, 시각화를 실습할 수 있는 기본서입니다. 파트 1과 파트 2에서는 소셜 미디어, 공공 데이터, 일반 웹 데이터를 수집하는 방법을 실습합니다. 파트 3에서는 수집한 데이터에 대한 빈도 분석과 상관관계 분석 방법을 실습하고, 지리정보를 기반으로 한 시각화 방법을 실습합니다. 개발자가 아닌 분들을 위하여 최소한의 파이썬 지식만으로도 실습할 수 있도록 구성하였습니다.

작가정보

저자(글) 이원하

저자 이원하는 한국외국어대학교 경영정보대학원 석사과정을 마치고 디지털 워터마킹과 DRM(Digital Right Management) 기술을 이용한 보안 분야 회사를 창업하여 문서보안이라는 솔루션을 설계, 한국에 처음 상용화하였다. 한동안 IT 개발에 회의를 느껴 자동차 개발 쪽에서 외도를 하다가 최근 다시 복귀, 빅데이터 처리 및 서버취약성점검 소프트웨어 개발을 하고 있는 개발자이다. 그리고 조그만 저수지에 낚시점빵을 차리는 게 소원인 두 아이의 아빠이기도 하다.

목차

• 파트 1 데이터 사용을 위한 계정 설정
  
  1장 페이스북 API 사용하기
  1.1 페이스북 가입
  1.2 페이스북 앱 ID 등록
  
  2장 트위터 API 사용하기
  2.1 트위터 가입
  2.2 트위터 앱 등록
  
  3장 네이버 API 사용하기
  
  4장 정부3.0 공공 데이터 포털 API 사용하기
  4.1 공공 데이터 포털 가입
  
  파트 2 데이터 수집
  
  5장 페이스북 데이터 수집하기
  5.1 페이스북 그래프(Graph) API
  5.1.1 읽기
  5.1.2 페이지 조회
  1. 커서(cursor) 기반 페이지 조회
  2. 시간(time period) 기준 페이지 조회
  3. 오프셋(offset) 기반 페이지 조회
  5.2 페이스북 ID 가지고 오기
  5.3 페이스북 포스트(/{post-id})) 가져오기
  5.4 페이스북 포스트(/{post-id})) 저장
  
  6장 트위터 데이터 수집하기
  6.1 OAuth란? [OAuth 1, 2, 3]
  6.1.1 OAuth 1.0a 인증 과정
  6.1.2 OAuth 2.0의 탄생
  6.2 트윗(Tweet) 가지고 오기
  6.3 트윗(Tweet) 스트림 가지고 오기[Twitter 2]
  
  7장 네이버 데이터 수집하기
  7.1 검색 API의 활용
  7.2 지도 API(주소, 좌표 변환)의 활용
  
  8장 공공 데이터 수집하기
  8.1 전국 유료 관광지 입장객 정보
  8.2 파이썬 그래프 모듈: matplotlib
  8.3 출입국 관광 통계 서비스
  
  9장 일반적인 웹 서비스 데이터 수집하기
  9.1 이상한 나라의 앨리스의 맛있는 스프: BeautifulSoup
  9.2 통닭 공화국의 데이터를 구해보자
  9.2.1 비비큐 매장 정보: HTML 태그 내 정보 찾기
  9.2.2 페리카나 매장 정보: 중복된 HTML 태그 내 추출
  9.2.3 네네치킨 매장 정보: XML 형식
  9.2.4 교촌치킨 매장 정보: 태그 내 다양한 태그 추출
  9.2.5 처갓집양념치킨 매장 정보: CP949 인코딩
  9.2.6 굽네치킨 매장 정보: selenium - 브라우저 시뮬레이션
  1. selenium과 WebDriver의 설치
  2. Selenium 테스트
  9.2.7 통합 데이터 수집 코드
  
  파트 3 데이터 분석과 시각화
  
  10장 빈도 분석: 형태소 분석 기반 그래프 및 워드 클라우드
  10.1 코엔엘파이(KoNLPy)의 설치 및 활용[KoNLPy 1]
  10.2 그래프를 그리자: matplotlib
  10.2.1 기본 그래프 그리기
  10.2.2 다수의 그래프 그리기
  10.2.3 한글 처리
  10.2.4 여러 개의 그래프 그리기
  10.2.5 그래프에 문자 삽입
  10.3 명사 추출 및 빈도 분석
  
  11장 데이터 기반 추천: 데이터 상관관계 분석
  11.1 상관분석과 상관계수
  11.2 데이터 테이블 생성: pandas 패키지
  11.2.1 Series
  1. 일차원(array) 데이터의 활용
  2. 딕셔너리(Dictionary)
  3. 스칼라(Scalar) 값
  11.2.2 DataFrame
  1. Series/Dict 데이터의 활용
  2. Dict 리스트 데이터의 활용
  3. 데이터 추가 및 합치기(merge)
  11.3 공공 데이터를 이용한 상관분석
  11.4 히트맵(Heatmap) ? seaborn
  
  12장 지리정보기반 시각화: 지리정보와 시각화
  12.1 지리정보 가공을 위한 데이터 전처리
  12.1.1 비비큐 주소 정보 보정
  12.1.2 페리카나 주소 정보 보정
  12.1.3 네네치킨 주소 정보 보정
  12.1.4 교촌치킨 주소 정보 보정
  12.1.5 처갓집양념치킨 주소 정보 보정
  12.1.6 굽네치킨 주소 정보 보정
  12.2 포리움(Folium)의 설치 및 활용[Visualization 3,4]
  12.2.1 포리움 설치 및 객체 생성
  1. 초기 객체 생성
  2. 다른 유형의 맵 호출
  3. 마커(Marker)와 팝업(Popup)의 설정
  4. GeoJSON 활용 데이터
  12.3 프랜차이즈 주소 매핑: Folium ? 네이버 주소 검색
  12.4 전국 지도에 블록맵으로 표시하기
  
  참고 문헌

책 속으로

어떠한 이유에서이든 요즘 개발자는 내외부적으로 빅데이터를 이용한 프로젝트를 수행해야 한다. 이 책에 관심을 둔 개발자라면 아마 고객이나 회사의 경영진으로부터 아래와 같은 요청사항을 한두 번 아니 그 이상 들어보았을 것이다.

"소셜 네트워크(SNS) 등을 이용하여 사용자를 분석하고 …."

또는 여기서 조금 더 나간 기업이나 고객은

"그 데이터를 바탕으로 인공지능을 이용해 학습을 하고, 이를 통해 자동으로 추천 서비스를 구현하여…"

솔직히 데이터를 모으라고 하면 모을 수 있다. 그리고 그걸 가지고 분석을 하라면 할 수 있을 것 같기도 하다. 근데 과연 어떤 데이터를 모을 것이며, 수집한 데이터를 어떻게 분석할지에 대해서는 어지럽기만 하다. 본 책에서는 일단 고객이 이야기하는 소셜 데이터를 모으는 방법에 대하여 이야기하려고 한다. 그럼 그 다음은? [중략] 본 책에서는 그래도 어떤 데이터를 어떻게 분석할 수 있을지에 대해 조금이나마 맛보기로 보여줄 예정이다. ? 저자 서문 중에서

출판사 서평

빅데이터 수집, 분석, 시각화를 실습할 수 있는 기본서입니다. 파트 1과 파트 2에서는 소셜 미디어, 공공 데이터, 일반 웹 데이터를 수집하는 방법을 실습합니다. 파트 3에서는 수집한 데이터에 대한 빈도 분석과 상관관계 분석 방법을 실습하고, 지리정보를 기반으로 한 시각화 방법을 실습합니다. 개발자가 아닌 분들을 위하여 최소한의 파이썬 지식만으로도 실습할 수 있도록 구성하였습니다.

'데이터를 수집할 수 있습니다' 페이스북, 트위터, 네이버, 공공, 일반 웹 사이트에서 데이터를 수집하는 방법을 설명합니다.

'데이터를 분석하고 시각화 처리를 할 수 있습니다 ' 코엔엘파이와 파이썬 라이브러리를 이용하여 빈도 분석을 할 수 있습니다. 데이터 상관관계 분석을 실습할 수 있습니다. 그리고 지리 정보를 이용하여 시각화를 구현할 수 있습니다.

'최소한의 파이썬 지식을 활용합니다' 이 책은 파이썬 문법서는 아닙니다. 빅데이터를 수집하고 분석하는 방법에 중점을 두고 있으며, 그에 필요한 파이썬 문법만 책에서 최소한으로 다룹니다.

'빅데이터 수집, 분석, 시각화를 시작하기에 적합한 책입니다' 개발자뿐만 아니라 기획, 마케팅, 전략 수립, 시장 조사, 스타트업, 연구원도 최소한의 개발 도구 활용 능력을 갖춰서 데이터를 정보화하여 사업이나 연구에 활용할 수 있어야 하는 시대입니다. 빅데이터 프로젝트를 진행해야 하는 개발자를 포함하여 개발자가 아닌 분들에게 최적화된 책입니다. 특히 개발자가 아닌 분들은 저자가 운영하고 있는 도서 관련 블로그를 적극 활용하시기 바랍니다.

기본정보

ISBN	9788994797694
발행(출시)일자	2017년 06월 20일
쪽수	302쪽
크기	189 * 257 * 21 mm / 782 g
총권수	1권