내꺼하자! 파이썬! 왕초보! 파이썬 배워 크롤러 DIY 하다!

서진수 , 최경우 저자(글)

더알음 · 2016년 03월 16일

책 소개

『왕초보! 파이썬 배워 크롤러 DIY 하다!』는 논문을 쓰거나 고객 반응을 파악해야 하는 등의 비정형 데이터를 처리해야 하는 사람에게 필요한 크롤러라는 프로그램을 파이썬 언어를 사용해서 직접 DIY 할 수 있는 기술을 배울 수 있다.

작가정보

저자(글) 서진수

저자 서진수는
- 저자의 다른 집필 도서 소개
실전! 오라클 백업과 복구
정석! 오라클 백업과 복구-1
정석! 오라클 백업과 복구-2
오라클 SQL 과 PL/SQL
오라클 관리 실무
오라클 백업과 복구
오라클 SQL과 Pl/SQL + 모델링 입문
한국최초의 영문판 All About Oracle Backup And Recovery
다양한 예제로 쉽게 배우는 R : R 까기
R라뷰 : R을 활용한 데이터 분석 입문편

- 표창 내역
고용 노동부 우수 강사 표창 수상 - 2013년

- TV 및 언론사 출연 내역
TV 조선 알맹이 ? 빅데이터 전문가 패널로 출연
KBS 1 TV 특집 대토론 1,2부 ? 빅데이터 전문가로 주제 발표자로 출연
그 외 다수 신문사 및 언론에 빅데이터 전문가로 소개되고 활발하게 활동하고 있습니다.

- 주요 강의 내역
환경부, 보건복지부 , 농협 , 경희대학교 , 연세대학교 , 국민대학교 , 이화여자대학교 , 성균관대학교 , 건국대학교 , 인하대 , 한국외국어 대학교 , 아이티윌 , 넷칼리지 , 한국 후지쯔 , 군산대학교 , 농협, 미림 여자 정보 고등학교에서 R을 활용한 데이터분석 입문 특강과 데이터베이스 활용방법 등을 강의하였고 현재도 여러 대학교와 대학원에서 데이터 분야 강의를 진행하고 있습니다

- 주요 실무 내역
㈜인동어페럴 데이터베이스 구축 및 운영
㈜정교 데이터베이스 구축 및 운영
㈜우진 데이터베이스 구축 및 운영
㈜대명 데이터베이스 구축 및 운영
의류 회사 ERP 시스템 구축 / 운영
온라인 한자 교육 사이트 구축 / 운영
병원 임상용 데이터베이스 구축
도로교통정보 시스템 유지보수 등 현재도 다수의 프로젝트 진행 중

저자(글) 최경우

저자 최경우는 프로그래밍 천재이자 진짜 멋진 이 시대의 청년
C , Java , Python , Node.js 등의 프로그래밍을 자유 자제로 다룸
다양한 응용 프로그램 개발 및 웹 서비스 , AWS , IoT 관련 프로젝트 진행하고 있음

목차

• Day 0 /
  시작하기 전에... _12
  
  Day 1 / Python 소개와 내 컴퓨터에 설치하기 _20
  01 프로그래밍 언어와 Python이 뭔가요? _21
  02 윈도에 Python 프로그램 설치하기 _24
  
  Day 2 / 데이터를 그릇에 담기 - 변수를 배웁니다 _40
  01 변수란 무엇일까요? _41
  02 변수는 어떻게 만들고 사용할까요? _42
  03 다양한 변수 만들어서 활용하기 _44
  1. 다양한 연산자 살펴보기 _44
  2. 변수값을 화면에 출력하기 _46
  3. 사용자에게 값을 입력받아 변수에 저장하기 _49
  ㆍ연습문제 _53
  
  Day 3 / 다양한 데이터 유형과 사용 방법 배우기 _56
  01 숫자형 _57
  1. 숫자형의 종류 _57
  02 문자열 유형 _65
  1. 문자열이란? _65
  2. 인덱싱과 슬라이싱 _66
  3. Meta Character(메타 캐릭터)와 Escape Character(탈출문자) _69
  4. 입력된 문자를 소문자/대문자로 바꾸기 [lower( ) 함수/upper( ) 함수] _71
  5. 문자열에서 특정 글자의 개수 찾기 - [count( ) 함수] _72
  6. 특정 문자가 있는 위치 찾기 - [index( ) 함수] _73
  7. 문자열에서 좌/우 공백 제거하기 - [lstrip( )/rstrip( )/strip( )] _74
  8. 문자열에서 내용 바꾸기 - [replace( )] _75
  9. 문자열 나누기 - [split( )] _76
  10. 문자열의 길이 확인하기 - [len( )] _77
  11. 문자열로 연산하기 _77
  12. 여러 줄의 문자열 저장하기 _78
  13. 입력 받는 내용을 문자로 지정하기 _78
  14. 퀴즈 _80
  03 리스트 유형 _83
  1. 리스트 유형이란? _83
  2. 리스트로 데이터 관리하기 _84
  3. 퀴즈 _91
  4. 튜플(tuple) 유형 _92
  5. 딕셔너리 유형(map 유형이라고도 합니다) _94
  6. 불리언(Boolean) _99
  7. SET(셋) 유형 _101
  
  Day 4 / 조건문과 반복문 배우기 _104
  01 IF 조건문 배우기 _105
  02 for 반복문 _116
  03 while 반복문 _124
  04 중간에 멈추기와 건너뛰기 ? break 문과 continue 문장 _126
  
  Day 5 / 함수와 클래스, 모듈을 배웁니다 _136
  01 직접 함수 만들기 도전 _137
  02 클래스(class) _146
  03 모듈(module) _159
  04 알아두면 유용한 여러 가지 Python 모듈들 소개 _168
  
  Day 6 / 정규식과 예외처리에 대해서 배웁니다 _174
  01 정규식을 배웁니다 _175
  1. 주요 정규식 기호의 의미 _176
  2. 정규식 기초 문법 사용 설명 _181
  3. Match object 방법 활용하기 _189
  4. 정규식에서 사용하는 다양한 함수들 _190
  02 예외처리를 배웁니다 _195
  
  Day 7 / HTML과 urllib, 파일 입출력 관리 배우기 _208
  01 HTML이 무엇일까요? _209
  1. 홈페이지가 보이는 원리 _210
  2. HTML 기초 배우기 _213
  02 urllib 라이브러리에 대해서 배웁니다 _239
  1. urllib의 주요 모듈 활용하기 _240
  03 os모듈 _248
  1. 다양한 함수들 _248
  2. os.path 모듈 _255
  3. 파일 생성 및 수정하기 _260
  
  Day 8 / Beautiful Soup와 다양한 크롤러 만들기 _274
  01 Beautiful Soup(뷰티풀 수프)란? _275
  02 Beautiful Soup 설치하기 _276
  03 Beautiful Soup 사용하기 _283
  1. [find( ) 함수 - 태그를 하나만 가져 옵니다] _283
  2. [find_all( ) 함수 - 해당 태그가 여러 개 있을 경우 한꺼번에 모두 가져옵니다] _286
  3. 문장 가져오기 _292
  4. 태그의 속성 _294
  5. 태그의 관계 _297
  6. find_parent( ) 함수와 find_parents( ) 함수 _299
  04 도전! 다양한 웹크롤러 직접 만들기 _303
  1. 크롤러를 만들기 전에 알아야 할 사항 _303
  2. Open API를 활용한 텍스트 크롤러 만들기 _307
  3. Open API를 제공하지 않는 사이트용 크롤러 만들기 _352
  C o n t e n t sC o n t e n t s
  
  Day 9 / Python을 활용해서 알고리즘 배우기 _380
  01 두 숫자 중에서 큰 숫자에서 작은 숫자를 뺀 값 출력하기 _381
  02 약수 구하기 _383
  03 최대 공약수 구하기 _385
  04 최소 공배수 구하기 _387
  05 피보나치 수열 구하기 _389
  06 여러 개의 숫자 중에서 가장 큰 값과 작은 값 구하기 _391
  07 사용자에게 값 입력받아 * 기호로 사각형 만들기 _394
  08 사용자에게 값 입력받아 직각 삼각형 만들기 _396
  09 사용자에게 값 입력받아 좌우가 바뀐 직각 삼각형을 만들기 _398
  10 입력한 문장에서 원하는 알파벳의 개수 세기 _400
  11 입력한 문장에 존재하는 알파벳 모두 골라내기(중복 X) _402
  12 입력한 문장에 존재하는 알파벳 모두 골라내서 개수 세기 _404
  13 리스트를 정렬하기 _406
  14 리스트에서 원하는 값 찾기 _408
  15 단어 바꾸기(split함수 미사용) _410
  16 단어 바꾸기(split함수 사용) _412
  17 시간 초를 입력받아서 시, 분, 초로 나타내기 _414
  18 비만도 측정하기 _416
  19 5명의 점수를 입력받아서 등수 출력하기 _418
  20 팩토리얼 만들기 _421
  ㆍ참고하세요! 여러 가지의 정렬을 소개합니다. _423
  1. 선택 정렬 _423
  2. 버블 정렬 _426
  3. 삽입 정렬 _429
  ㆍ찾아보기 _435

출판사 서평

도서 소개
독자님~~
인터넷으로 어떤 물건 살 때 먼저 구매하신 분들의 리뷰 보시죠?
영화나 연극 볼때도 먼저 보신 분들의 평가를 참고 하시죠?

위의 예에서 나온 구매 후기나 리뷰들을 비정형 데이터라고 하는데 비정형 데이터에는 아주 중요한 정보가 많이 있기 때문에 많은 기업이나 사람들이 비정형 데이터를 분석해서 가치를 찾고 있습니다.

그런데 비정형 데이터는 양이 너무 많아서 수집하기가 너무 어렵습니다.
일일이 손으로 복사한 후 붙여 넣기 하는 것도 한계가 있겠죠?
그래서 많은 양의 비정형 데이터를 수집해야 할 경우 데이터를 수집하는 작업을 자동으로 해 주는 크롤러(crawler) 라는 프로그램을 사용하는데 문제는 크롤러 프로그램이 저렴한 것은 수백 만원에서 비싼 것은 수 억원 까지 합니다.

이 책이 태어난 이유는 논문을 쓴다던지 고객 반응을 파악해야 하는 등의 비정형 데이터를 처리해야 하시는 분들에게 반드시 필요한 크롤러 라는 프로그램을 파이썬 언어를 사용해서 직접 DIY 할 수 있는 기술을 전해드리기 위해서입니다.

파이썬 언어를 전혀 사용해 본적이 없는 독자님들도 계시겠죠?
그래서 이 책은 파이썬 언어 기초부터 쉽게 출발을 합니다.
그리고 HTML 기초도 알려 드리고 Beautiful Soup 도 알려드린 후에 Naver , Daum , Facebook 등의 사이트의 Open API 를 이용한 크롤러를 만드는 방법을 한 줄 한 줄 코드를 설명하면서 DIY 할 수 있도록 전해 드립니다. 그리고 Open API 를 제공하지 않는 수많은 사이트들을 대상으로 크롤링 하는 크롤러를 만드는 방법을 캡쳐 화면과 함께 자세한 원리를 설명하면서 전해 드립니다.

또한 프로그래밍의 가장 중요한 알고리즘에 대해서도 파이썬 언어를 활용해서 다양한 예제로 배울 수 있도록 설명하고 있습니다.
이 책을 다 보신 후에는 수억원의 가치를 직접 만드시게 될 것입니다

출판사 서평 (리뷰)
안녕하세요! 독자님.
이 책의 공동 저자인 서진수입니다.
빅데이터 분석 일을 오래 하면서 정말 절실하게 느꼈던 어려움이 데이터를 수집하는 것이었습니다.
특히 게시판이나 리뷰 같은 거 모아야 할 때면 밤새 컴퓨터 앞에서 복사+붙여넣기를 해서 수천, 수만 건의 데이터를 모은 적도 아주 많지요.
정말 헤아릴 수 없는 수많은 밤을 눈물과 짜증과 함께 보낸 아픈 추억이 많습니다.

바로 그래서 이 책을 기획하고 쓰게 되었습니다.
지금 이 순간에도 비정형 데이터를 모으기 위해 제가 했던 어려움들을 똑같이 겪고 계신 분들이 분명 있을 거라고 생각합니다. 그 분들께 조금이라도 힘이 되기 위해서 파이썬과 크롤러를 만드는 기술을 전해 드리고 싶었습니다.
사실 크롤러라는 프로그램은 상용버전이 수백 만원에서 수억까지 하는 아주 비싼 프로그램입니다.
그리고 특히 소셜 데이터 분석이나 비정형 데이터 분석을 하는 회사들의 큰 노하우가 바로 크롤링이지요. 이 책 한 권으로 시중에서 사용되는 모든 크롤링 기법을 다 전한다는 것은 사기이겠지만 웹 페이지 데이터를 크롤링하는 원리는 정말 잘 설명을 하고 있으니 이 책 열공하시면 파이썬 기초와 크롤러 제작이라는 두 마리 토끼를 다 잡게 되실 거예요.
정말 열심히 공부해서 많은 것을 배워 가시기를 응원하겠습니다

기본정보

ISBN	9791195484720
발행(출시)일자	2016년 03월 16일
쪽수	440쪽
크기	190 * 240 * 18 mm / 863 g
총권수	1권

Klover 리뷰 (13)

[gu*******]

굿

[ha******]

아래 다른 리뷰 처럼, 생초보(?)가 읽기에는 무리가 있습니다. 파이썬 기본서 정도는 숙지 하고 보시면 편합니다.

[du******]

R User Group 페이스북 그룹에 소개해 주신 파이썬 교재 출간소식을 접한지 언 4개월째 ... 바로 공구 해야지.. 하다 아뿔싸. 공구 일정 놓친건 민망하고 그저께서야 주문해서 오늘에서야 손에 쥐게 됐내요. 작년 이맘때쯤 교보에서 집어온 R라뷰 책이 질투하겠어요....더 이뻐보이는 파이썬 책보니. 많은 공짜 책들과 여러 Learning by Doing 싸이트 끄적대봤지만 숨막힐듯 방대한 양과 거부감부터 들었던 딱딱한 설명방식 및 내용전개는 처음 R 접하던 일인에겐 멘붕... 그러다 칼라풀한 책 디자인, 고급진 페이지 느낌, 알맹이만 쏙 뽑아서 할건 다하게 해주는 R라뷰의 감동이 채 가시기도 전 드디어 오늘 파이썬과 인사를 합니다. 방금 스르륵 넘겨본 이책....역시 스멀스멀 감동이 밀려오려 하는군요. 큰 기대하며 빠져볼랍니다. (특히, 8일차 요녀석...) 일전에, R의 rvest 패키지로 "더보기.." 안에 감춰진 후기내용 관련해 드린 질문에 친절해 설명해 주셨드랬죠. 사실, 이 책을 구매하고자 했던 결정적 계기가 책발간전에 새벽시간 'www.ar-eum.com' 게시판에 불쑥 남겨드렸던 관련 질문을 그 새벽이 채 가기전 잽싸게 답글주시며 친절히 설명 주셨던 선생님의 관심과 열정 때문입니다. Python으로 반.드.시. 해결하고자 열망 상승중입니다!^^ (R로도 되겠지만 제가 부족한거라 생각하고 있습니다만..^^) 그럼, 늦었지만 다시한번 이쁘고 실한 파이썬 교재 발간을 진심으로 축하드리며 곧있을 머신러닝 교재도 기대하고 있겠습니다. 항상 건승하십시요! 봉선애비 드림.

[ki********]

책 제목을 보면 파이썬을 볼 수 있고 더군다다 크롤러를 만들수가 있다고 이 한권에..very good! 하고 덜컥 이책을 산 내가...읽다가 그만 욱하고 책을 덥었습니다.부페 집을 방문하면서 그 주에 잠깐 나오는 고기요리가 있다는 말에 혹해서..그 고기요리가 스테이크 전문점 맛이 날거라고 기대한 내가 바보였다는 생각이 듭니다.더군다다.. 기본 반찬에 속하는 파이썬 기초조차 영 시원치 않네요.읽다가 먼가 시원치 않아서 함께 샀던 Do it! 점프 투 파이썬이라는 파이썬 자체만을 설명한 책을 보다가 그 책이 훨씬 파이썬에 대해서 체계적이라는 생각이 들어서 그만 이 책은 덮었습니다.작가에게 죄송합니다. 일단 지금 계획은 점프 투 파이썬이라는 책으로 파이썬을 정리하고 함께 샀던 Web scraping with python으로 웹 스크래핑을 공부하면서 귀 작가께서 작성하신 웹크롤링 2개의 챕터를 참고하면서 정리하는 것으로 방향을 정리했습니다.1) 기초 : Do it 점프 투 파이썬2) 웹 크롤러 : Web scraping with python3) 웹 크롤러 참고..: 왕초보! 파이썬 배워 크롤러 DIY 하다! 책을 구매하는 후인들에게 도움이 되기를..