슬기로운 파이썬생활 데이터 싹쓰리 & 업무자동화

서진수 , 손기동 저자(글)

가치랩스 · 2020년 11월 30일

책 소개

『슬기로운 파이썬생활 데이터 싹쓰리 & 업무자동화』 는 〈웹 크롤링을 위한 환경설정과 자동 검색 구현〉, 〈검색창에 검색어를 입력 후 자동 검색하기 기능 구현하기〉, 〈Beautiful Soup로 원하는 값 추출 후 저장하기〉, 〈항목별 내용 추출 후 다양한 형식의 파일로 저장하기〉, 〈상세 정보 수집 후 다양한 형식의 파일로 저장하기〉, 〈다양한 인터넷 언론 정보 수집하기〉 등을 수록하고 있는 책이다.

작가정보

저자(글) 서진수

현재 아이티윌 오라클 강사/프리랜서로 있으며, 이전엔는 약 2년동안 우진기업 Oracle Database Admin-oracle 8을, 약 1년 6개월 간 대명정공 Oracle Database Admin-oracle 8i/9i, 인동 컴퍼니 Oracle Database Admin-oracle 9i 약 2년 4개월, 정교 Oracle Database Admin-oracle 8i/9i 약 3년, 넷칼리지 유닉스 및 오라클 강사/프리랜서로 약 1년 활동했다.

저자(글) 손기동

목차

• Part1. 다양한 인터넷 데이터 수집 자동화
  ····Chap 01_웹 크롤링을 위한 환경설정과 자동 검색 구현 _
  ········01. 웹 크롤링의 원리
  ········02. 웹 크롤링을 위한 설정
  ············1. 사람 대신 웹 페이지를 열고 데이터를 수집할 selenium 패키지를 설치하기
  ············2. selenium 패키지가 사용할 웹 브라우저 프로그램(웹 드라이버)을 설치하기
  ········03. 검색창에 검색어를 입력 후 자동 검색하기 기능 구현하기
  ············1. 작업 개요
  ············2. 일단 실행하기
  ············3. 소스코드 설명
  ············4. 개발자 도구 사용하기
  ········04. 연습문제로 실력굳히기
  
  ····Chap 02_Beautiful Soup로 원하는 값 추출 후 저장하기
  ········01. Beautiful Soup(뷰티풀 수프) 역할과 설치하기
  ········02. Beautiful Soup를 사용하여 데이터 추출하기
  ············1. find( ) 함수 : 주어진 조건을 만족하는 첫 번째 태그 값만 가져오기
  ············2. find_all( ) 함수 : 해당 태그가 여러 개 있을 경우 한꺼번에 모두 가져오기
  ············3. select( ) 함수 사용하기
  ············4. 태그 뒤의 텍스트만 추출하기
  ········03. 수집된 내용을 txt 형식의 파일로 저장하기
  ········04. 연습문제로 실력굳히기
  
  ····Chap 03_항목별 내용 추출 후 다양한 형식의 파일로 저장하기
  ········01. 이번 장에서 배울 내용 소개
  ········02. 일단 실행해 보기
  ········03. 소스코드 설명
  ········04. 연습문제로 실력굳히기
  
  ····Chap 04_상세 정보 수집 후 다양한 형식의 파일로 저장하기
  ········01. 이번 장에서 배울 내용 소개
  ········02. 일단 실행해 보기
  ········03. 소스코드 설명
  ········04. 연습문제로 실력굳히기
  
  ····Chap 05_다양한 인터넷 언론 정보 수집하기
  ········01. 이번 장에서 배울 내용 소개
  ········02. 일단 실행해 보기
  ········03. 소스코드 설명
  ········04. 현업에서의 경험 소개
  ········05. 연습문제로 실력굳히기
  
  ····Chap 06_ SNS 정보 수집하기 - 인스타그램
  ········01. 이번 장에서 배울 내용 소개
  ········02. 일단 실행하기
  ········03. 소스코드 설명
  ········04. 현업에서의 경험 소개
  ········05. 연습문제로 실력굳히기
  
  ····Chap 07_인터넷 쇼핑몰 정보 수집하기 - 쿠팡
  ········01. 이번 장에서 배울 내용 소개
  ········02. 일단 실행해 보기
  ········03. 소스코드 설명
  ········04. 현업에서의 경험 소개
  ········05. 연습문제로 실력굳히기
  
  ····Chap 08_전자(세금) 계산서 발행 내역 수집하기
  ········01. 이번 장에서 배울 내용 소개
  ········02. 일단 실행해 보기
  ········03. 소스코드 설명
  ········04. 연습문제로 실력굳히기
  
  ····Chap 09_수집된 데이터를 데이터베이스에 저장하기
  ········01. 쿠팡 크롤러 MySQL과 연결하기
  ········02. 일단 실행해 보기
  ········03. 소스코드 설명
  ············1. [1단계] MySQL 연결
  ············2. [2단계] CRAWLER 제작과 MySQL 연결하기
  ········04. 네이버쇼핑 사이트 내용 수집 후 Oracle DB에 저장하기
  ········05. 소스코드 설명
  ············1. 오라클 설치 및 계정 생성 정보
  
  Part 2. 다양한 윈도 프로그램과 문서 업무 자동화하기
  ····Chap 10_파이썬을 활용한 윈도용 프로그램 자동 제어하기
  ········01. 이번 장에서 배울 내용 소개
  ············1. pywin32 설치
  ············2. Accessibility insights : 윈도용 프로그램의 정보를 찾는 툴
  ············3. uiautomation 모듈 설치하기 : 윈도의 명령 프롬프트(cmd) 창 사용
  ········02. 계산기 프로그램 자동 제어하기 : 메뉴 클릭 기능 자동화
  ············1. 소스코드 설명
  ············2. 자동화 실습
  ········■ 연습문제
  ·······03. 메모장 자동화 : 입력 기능 자동화
  ············1. 소스코드 설명
  ············2. 자동화 실습
  ········■ 연습문제
  ········04. pyautogui 모듈로 키보드와 마우스 자동 제어하기
  ············1. pyautogui 소개
  ············2. pyautogui 설치
  ············3. pyautogui 주요 명령어 및 사용방법
  ········■ 연습문제
  
  ····Chap 11.Excel/Word작업 자동화 및 email 발송 자동화
  ········01. 엑셀 프로그램을 실행하여 파일 불러오기 구현
  ········02. 여러 셀을 선택하고 색상을 부여하기
  ········■ 연습문제
  ········03. 단축 메뉴 선택하여 셀 서식(숫자에, 기호로 구분하기) 선택하기
  ········■ 연습문제
  ········04. 여러 셀 선택 후 해당 데이터로 그래프 작성하기
  ········■ 연습문제
  ········05. 피벗 테이블을 활용하여 대량의 데이터 요약 분석하기
  ············1. 소스코드 설명
  ········06. MS Word 프로그램 자동화하기
  ············1. 기본 기능 확인하기
  ············2. 공문 작업 자동화하기
  ········07. 자동으로 email 발송하기
  
  Part 3. 웹 크롤링과 문서 자동화를 위한 파이썬 필수 문법
  ····Chap 12_파이썬 프로그램 설치 및 주피터 노트북 사용하기
  ········01. 파이썬 프로그램 설치하기
  ········02. 주피터 노트북 설치하고 사용하기
  ············1. 새로운 Cell 생성하기
  ············2. Cell 분리하고 합치기
  ············3. 진행 중인 작업을 중단하거나 재시작하기
  ············4. 여러 줄을 한꺼번에 들여쓰기와 내어쓰기
  ············5. 작업 결과를 저장하기
  
  ····Chap 13_변수 활용과 입출력 함수 사용하기
  ········01. 변수란 무엇일까요?
  ········02. 변수는 어떻게 만들고 사용할까요?
  ········03. 다양한 변수 만들어서 활용하기
  ············1. 다양한 연산자 살펴보기
  ············2. 변수값을 화면에 출력하기
  ············3. 사용자에게 값을 입력받아 변수에 저장하기
  
  ····Chap 14_다양한 데이터 유형과 주요 함수들 활용방법
  ········01. 숫자형 데이터
  ············1. 정수형 타입과 주요 연산자 사용 방법
  ············2. 정수형으로 변환하기
  ············3. 실수형 숫자 타입
  ············4. 숫자 타입에서 많이 사용되는 주요 함수들
  ········02. 문자열 유형
  ············1. 문자열이란?
  ············2. 인덱싱과 슬라이싱
  ············3. [lower( ) 함수 / upper( ) 함수] : 입력된 문자를 소문자/대문자로 바꾸기
  ············4. [lstrip( ) / rstrip( ) / strip( )] : 문자열에서 좌/우 공백 제거하기
  ············5. [replace( )] : 문자열에서 내용 바꾸기
  ············6. [split( )] : 문자열 나누기
  ············7. [len( )] : 단어나 문자열의 길이 확인하기
  ············8 문자열로 연산하기
  ········03. 리스트(list) : 여러 건의 데이터를 한꺼번에 저장하기
  ············1. 리스트 유형이란?
  ············2. 리스트로 데이터 관리하는 방법들
  ········■ 연습문제
  
  ····Chap 15_조건문과 반복문 활용하기 _360
  ········01. if 조건문 배우기
  ············1. 조건이 참일 경우에만 수행할 작업을 지정하기
  ············2. 조건이 참일 경우와 거짓일 경우 모두 수행할 작업을 지정하기
  ············3. 여러 개의 조건에 따라 다른 작업을 해야 하는 경우
  ········■ 연습문제
  ········02. for 반복문
  ········■ 연습문제
  ········03. while 반복문
  ········■ 연습문제
  ········04. 중간에 멈추기와 건너뛰기 : break 문과 continue 문장
  ········■ 연습문제
  
  ····Chap 16_사용자 정의 함수와 모듈을 배웁니다
  ········01. 직접 사용자 정의 함수 만들기 도전
  ········■ 연습문제
  ········02. 모듈(module)
  ············1. 필요한 모듈을 직접 만들어서 사용하기
  ············2. 모듈이 저장된 경로 변경하기
  ············3. 모듈 안의 특정 함수만 불러오기
  ············4. 다른 사람이 만들어둔 모듈 설치해서 사용하기
  
  ····Chap 17_디렉토리와 파일 관리하기
  ········01. OS 모듈을 통한 디렉토리 관리
  ········02. 다양한 형식의 파일 생성 및 수정하기
  ············1. 텍스트 형식(txt) 파일 관리하기
  ············2. xls 형식과 csv 형식의 파일관리하기
  ········■ 연습문제
  
  ····Chap 18_예외처리를 배웁니다.
  ········01. 예외처리를 배웁니다
  ········■ 연습문제
  
  ····Chap 19_Numpy와 Pandas 모듈을 활용한 정형 데이터 관리
  ········01. Numpy 모듈을 활용한 데이터 관리하기
  ········02. Numpy 모듈 사용하기
  ············1. Array 생성하기와 조회하기
  ············2. Array 상태에서의 연산하기
  ············3. Array 상태에서의 데이터 조회하기 : 인덱싱과 슬라이싱 활용
  ············4. numpy 모듈의 주요 분석 함수들
  ········■ 연습문제
  ········03. Pandas 모듈을 활용한 데이터 관리하기
  ············1. 일반적인 데이터 유형
  ············2. Pandas에서 사용되는 주요 데이터 유형
  ············3. Series 유형 : 생성하기
  ············4. Series 유형 : 조회하기
  ············5. Series 유형 : 데이터 연산하기
  ············6-1. Data Frame 유형 : 생성하기
  ············6-2. 정렬하기
  ············6-3. pandas에서 xls 형식과 csv 형식 불러오기 : pip install xlrd 후 작업하세요
  ············7-1. Data Frame 유형 : 특정 컬럼 조회하기
  ············7-2. Data Frame 유형 : 원하는 조건으로 행 조회하기
  ············8. Data Frame 유형 : 새로운 행과 열 추가하기
  ············9. Data Frame 유형 : 행과 열 삭제하기
  ············10. Data Frame 합치기 : merge( ) & concat( )
  ········■ 연습문제
  
  ····Chap 20_다양한 파이썬 시각화 기법을 소개합니다.
  ········01. matplotlib
  ············1. Figure
  ············2. Axes
  ············3. Axis
  ········02. 한 화면에 여러 그래프 그리기
  ········03. 그래프의 추가정보(라벨과 범례) 표시하기
  ········04. bar chart 만들기
  ············1. 기본 옵션으로 bar chart 그리기
  ············2. x축 항목 이름 지정하기
  ············3. color 지정하기
  ············4. 수치 표시하기
  ············5. 수평 bar chart 그리기
  ············6. 여러 데이터를 묶어서 그리기
  ········05. pie chart 만들기
  ············1. 기본 챠트 그리기
  ············2. 수치값 표시하기
  ········06. box plot 그리기
  ············1. 기본 box plot 그리기
  ············2. 여러 개의 box plot 그리기
  ········07. Seaborn 패키지
  ············1. relplot( )
  ············2. catplot( )
  ············3. pairplot( )
  ············4. heatmap( )
  ········08. Plotnine 라이브러리
  ········09. Folium 모듈 : 지도 시각화 기능
  ············1. 특정 장소의 위치 표시하기
  ········■ 연습문제
  ············2. 구역을 지정하여 표시하기
  ········■ 연습문제
  
  부 록_주식 매매 자동화하기
  ····01. 주식 매매(단기 투자) 자동화하기 ·
  ····02. 소스코드 설명
  
  ■ 찾아보기

출판사 서평

독자님~ 이 책을 선택해 주셔서 감사합니다 ^^
이 책의 핵심은 우리가 컴퓨터로 하고 있는 수많은 작업들을 (예를 들어 인터넷에 있는 다양한 데이터를 수집하거나 분석하는 작업이나 업무로 인한 엑셀이나 워드 작업들)파이썬으로 자동화해서 더 편하게 일하고 업무상 더 좋은 성과를 만들자는 것입니다.
한마디로 파이썬을 활용하여 편하게 일하면서 나의 가치를 높이자는 것이죠

이런 목적을 이루기 위해서 이 책은 크게 아래와 같이 3개의 파트에 총 20개의 Chapter와 부록으로 나누어져 있습니다.

Part 1. 인터넷 데이터 수집 작업 자동화
Part 2. 엑셀, 워드 문서 작업 자동화 및 자동 이메일 발송
Part 3. 왕초보를 위한 파이썬 기본 문법
부록. 주식 거래 자동화하기

그리고 위 챕터의 대부분의 강의는 유투브 동영상으로 제공되어서 훨씬 효과적으로 학습할 수 있도록 도움을 드리고 있습니다.(동영상 강의는 각 챕터를 참고하세요)

그럼 각 파트의 내용을 조금 더 자세히 볼까요?
각 파트 별 전체 목차는 아래와 같습니다.

먼저 Part 1에서 Chap 1 - Chap 4에서는 학술 논문 관련 정보를 찾을 때 아주 많이 사용되는 riss 사이트를 활용해서 웹 크롤링의 원리를 설명하고 있습니다.
(참고: 웹크롤링의 원리를 더 많은 예제들을 사용해서 자세하고 공부하고 싶은 분들은 아래의 완친파 웹크롤러 대마왕편 책을 참고하세요~)

(웹크롤링 원리와 다양한 예제들을 담고 있는 완친파 웹크롤러 대마왕편 표지)

그리고 Chap 5 - Chap 9 까지는 현업이나 실무에서 데이터 수집이 많이 요구되는 사이트들을 예제로 웹크롤러를 만드는 방법을 안내하고 있습니다.

먼저 Chap 5에서는 언론 정보를 수집하는 내용을 다음카카오 사이트의 랭킹 뉴스를 추출하는 내용으로 코드를 설명합니다. 그 후 한겨레신문과 빅카인즈 사이트의 뉴스를 수집하는 연습문제를 풀어 봄으로써 언론 정보를 수집하는 스킬을 마스터하게 됩니다.

그리고 Chap 6에서는 SNS 정보를 수집하는 주제로 인스타그램 사이트의 정보를 수집하는 내용을 다루고 있습니다. 인스타그램 사이트에 로그인을 자동으로 하고 해시태그를 자동으로 검색한 후 검색된 데이터에서 해시태그와 사진을 수집하는 방법을 자세하게 설명하고 있습니다.

Chap 7에서는 인터넷 쇼핑몰의 데이터를 수집하는 내용을 주제로 현재 많은 고객들을 확보하고 있는 쿠팡 사이트의 정보를 수집하고 있습니다.
특정 카테고리를 조회하여 제품 목록을 검색하고 가격이나 할인율, 배송, 평점 등의 다양한 정보를 수집하여 저장하는 데 이때 엑셀 파일로 자동으로 저장하면서 상품 이미지까지 아래와 같이 깔끔하게 저장하는 방법을 자세하게 안내하고 있습니다.


이 챕터에서 다루는 내용을 모두 이해하신다면 지구상에 존재하는 대부분의 인터넷 쇼핑몰 정보는 다 수집할 수 있을거예요 ^^

Chap 8에서는 공인 인증서를 이용하여 로그인하는 사이트의 정보를 수집하는 것을 주제로 국세청 홈택스 사이트에 자동으로 로그인 한 후 세금 계산서 발행 내역을 엑셀 형태로 다운로드 받는 것을 설명하고 있습니다. 이 기술은 실제 상용 서비스들에 많이 사용되고 있고 돈이 되기 때문에 잘 공개를 하지 않는 알짜 기술입니다

Chap 9에서는 수집한 데이터들을 엑셀이나 txt 형태로만 저장하는 것이 아니라 데이터베이스에 저장하는 방법을 설명하고 있습니다. 데이터베이스 프로그램 중에 많이 사용되고 있는 MySQL과 Oracle 프로그램을 사용하여 어떻게 DB와 파이썬을 연동하고 수집한 데이터를 저장하는 지 자세하게 안내해 드립니다.

Chap 10과 Chap 11에서는 업무 자동화라는 주제로 윈도에서 사용하는 수많은 프로그램들을 자동화 할 수 있는 방법을 안내하고 있습니다.
Chap 10에서는 윈도용 프로그램들을 자동화 할 수 있는 원리와 프로그램과 모듈의 사용법을 다양한 예제로 자세하게 안내하고 있는데 예제를 차근차근 따라하면서 놀라운 방법들을 쉽게 배울 수 있습니다.

Chap 11에서는 사무실에서 많이 사용하는 프로그램인 Microsoft Excel , Microsoft Word 프로그램을 자동화시키는 방법을 소개하면서 자동으로 Excel 프로그램을 제어하여 피벗테이블로 데이터를 요약하고 챠트를 작성하는 예제를 소개하고 있으며 MS Word 프로그램으로 공문을 자동으로 만들고 pdf 파일로 변환하여 고객의 이메일로 자동 발송하는 방법까지 안내하고 있습니다.

Chap 12부터 Chap 20까지는 파이썬 프로그램을 처음 접하시는 분들을 위해서 반드시 알아야 하는 필수 문법들을 다양한 예제를 사용해서 쉽게 설명하고 있습니다.

그리고 마지막 부록에서는 파이썬을 활용하여 주식 매매를 자동으로 할 수 있는 방법과 원리를 안내하고 있습니다. 특히 이 작업을 할 수 있는 소스코드를 제공해서 독자들이 직접 프로그램을 전부 개발하지 않더라도 적용해 볼 수 있도록 배려하고 있습니다.
물론 주식에 대한 기본 개념이나 매매 규칙 등은 독자 스스로가 정해서 사용해야 합니다~

이 한권의 책에 파이썬 관련 모든 내용들을 담을 수는 없지만 적어도 파이썬을 활용해서 우리의 시간과 삶을 더 여유롭고 윤택하게 만들 수 있는 다양한 방법들을 제시하고 있으니 독자께서는 이 책의 내용을 열심히 공부하셔서 더 멋진 내일을 만들어 가시길 응원합니다.

감사합니다.
데이터쟁이 서진수 드림.

기본정보

ISBN	9791196220938
발행(출시)일자	2020년 11월 30일
쪽수	520쪽
크기	185 * 241 * 26 mm / 967 g
총권수	1권

Klover

[dh******]

이책을 사면서 흥미가 생겼습니다.

[de******]

잘 공부하겠습니다.

[ja********]

내용이 알차고 유익합니다. 다만 책 표지 디자인이 학원 교재처럼 생겨서 밖에서 읽기 창피합니다.

[hi******]

책 편집은 무슨 학원 제본책 같이 허접한데, 내용은 좋아요.

[mi*****]

엑셀 vba 탈출 할 수 있을 것 같네요