본문 바로가기

추천 검색어

실시간 인기 검색어

파이썬으로 웹 크롤러 만들기

3 판
라이언 미첼 저자(글) · 최경현 번역
한빛미디어 · 2025년 01월 31일
가장 최근에 출시된 개정판입니다. 구판보기
0.0
10점 중 0점
(0개의 리뷰)
평가된 감성태그가
없습니다
  • 파이썬으로 웹 크롤러 만들기 대표 이미지
    파이썬으로 웹 크롤러 만들기 대표 이미지
  • 파이썬으로 웹 크롤러 만들기 부가 이미지1
    파이썬으로 웹 크롤러 만들기 부가 이미지1
  • 파이썬으로 웹 크롤러 만들기 부가 이미지2
    파이썬으로 웹 크롤러 만들기 부가 이미지2
  • A4
    사이즈 비교
    210x297
    파이썬으로 웹 크롤러 만들기 사이즈 비교 183x237
    단위 : mm
01 / 04
무료배송 소득공제
10% 25,200 28,000
적립/혜택
1,400P

기본적립

5% 적립 1,400P

추가적립

  • 5만원 이상 구매 시 추가 2,000P
  • 3만원 이상 구매 시, 등급별 2~4% 추가 최대 1,400P
  • 리뷰 작성 시, e교환권 추가 최대 300원
배송안내
무료배송
배송비 안내
국내도서/외국도서
도서 포함 15,000원 이상 구매 시 무료배송
도서+사은품 또는 도서+사은품+교보Only(교보굿즈)

15,000원 미만 시 2,500원 배송비 부과

교보Only(교보배송)
각각 구매하거나 함께 20,000원 이상 구매 시 무료배송

20,000원 미만 시 2,500원 배송비 부과

해외주문 서양도서/해외주문 일본도서(교보배송)
각각 구매하거나 함께 15,000원 이상 구매 시 무료배송

15,000원 미만 시 2,500원 배송비 부과

업체배송 상품(전집, GIFT, 음반/DVD 등)
해당 상품 상세페이지 "배송비" 참고 (업체 별/판매자 별 무료배송 기준 다름)
바로드림 오늘배송
업체에서 별도 배송하여 1Box당 배송비 2,500원 부과

1Box 기준 : 도서 10권

그 외 무료배송 기준
바로드림, eBook 상품을 주문한 경우, 플래티넘/골드/실버회원 무료배송쿠폰 이용하여 주문한 경우, 무료배송 등록 상품을 주문한 경우
주문정보를 불러오는 중입니다.
기본배송지 기준
배송일자 기준 안내
로그인 : 회원정보에 등록된 기본배송지
로그아웃 : '서울시 종로구 종로1' 주소 기준
로그인정확한 배송 안내를 받아보세요!

이달의 꽃과 함께 책을 받아보세요!

1권 구매 시 결제 단계에서 적용 가능합니다.

알림 신청하시면 원하시는 정보를
받아 보실 수 있습니다.

키워드 Pick

키워드 Pick 안내

관심 키워드를 주제로 다른 연관 도서를 다양하게 찾아 볼 수 있는 서비스로, 클릭 시 관심 키워드를 주제로 한 다양한 책으로 이동할 수 있습니다.
키워드는 최근 많이 찾는 순으로 정렬됩니다.

파이썬으로 웹 크롤러 만들기 상세 이미지
다양한 웹에서 효율적으로 데이터를 수집하는 방법 A to Z
오늘날 데이터가 넘쳐나는 웹에서 웹 크롤러로 할 수 있는 일은 무궁무진합니다. 이 마법을 위한 준비물은 약간의 파이썬 프로그래밍 능력 하나뿐, 나머지는 이 책에 모두 담겨 있습니다. 이 책을 활용하면 웹 크롤링을 이용해 업무를 자동화하고, 복잡한 웹 콘텐츠를 처리하는 통찰력을 얻게 될 것입니다. 새롭게 3판으로 개정된 이 책은 전반적인 코드를 최신화하고 실무에서 활용할 수 있는 예제를 추가했습니다. 또한 브라우저 자동화를 위한 셀레니움, 정확한 데이터 추출을 위한 XPath도 함께 다룹니다. 복잡한 웹 세상에서 효율적으로 데이터를 수집하고 싶은, ‘일상의 데이터 분석가’를 꿈꾸는 모두에게 이 책은 가장 정확한 나침반이 되어 줄 것입니다.

작가정보

저자(글) 라이언 미첼

(Ryan Mitchell)

웹 크롤링, 보안, 데이터 과학에 관심이 많은 개발자. 현재 거슨 레만 그룹에서 수석 소프트웨어 엔지니어로 근무하고 있습니다. 프랭클린 W. 올린 공과대학교를 졸업했고 하버드 대학교에서 소프트웨어 엔지니어링 석사 과정을 밟았습니다. 어바인에서 웹 크롤러와 봇을 만들었고, 링크 드라이브에서는 API 및 데이터 분석 도구를 만들었습니다. 금융업 및 유통업 분야에서 웹 크롤링 프로젝트 컨설팅을 하고 있고, 교육과 강연 활동도 활발하게 펼치고 있습니다. 본서 외 저서로 『Instant Web Scraping with Java』(Packt, 2013)가 있습니다.

번역 최경현

SK텔레콤에서 통신 및 플랫폼 인프라 등 다양한 시스템을 운영했으며 현재는 개발 업무를 담당하고 있습니다. 옮긴 책으로는 『풀스택 테스트』(한빛미디어, 2023), 『처음 시작하는 마이크로서비스』(한빛미디어, 2021), 『쿠버네티스를 활용한 클라우드 네이티브 데브옵스』(한빛미디어, 2019)가 있습니다.

목차

  • [PART 1 웹 스크레이퍼 제작]

    CHAPTER 1 인터넷 작동 원리
    _1.1 네트워킹
    __1.1.1 물리 계층
    __1.1.2 데이터 링크 계층
    __1.1.3 네트워크 계층
    __1.1.4 전송 계층
    __1.1.5 세션 계층
    __1.1.6 표현 계층
    __1.1.7 응용 계층
    _1.2 HTML
    _1.3 CSS
    _1.4 자바스크립트
    _1.5 개발자 도구로 웹사이트 검사하기

    CHAPTER 2 웹 스크레이핑의 합법성과 윤리
    _2.1 상표? 저작권? 특허?
    __2.1.1 저작권법
    _2.2 동산 침해
    _2.3 컴퓨터 사기와 악용에 관한 법률
    _2.4 robots.txt와 이용 약관
    _2.5 세 가지 웹 스크레이퍼 사례
    __2.5.1 이베이 vs. 비더스 에지: 동산 침해
    __2.5.2 미국 vs. 오언하이머: 컴퓨터 사기와 악용에 관한 법률
    __2.5.3 필드 vs. 구글: 저작권과 robots.txt

    CHAPTER 3 웹 스크레이핑 활용 분야
    _3.1 프로젝트 분류하기
    _3.2 이커머스
    __3.2.1 마케팅
    _3.3 학술 연구
    _3.4 제품 개발
    _3.5 여행
    _3.6 영업
    _3.7 SERP 스크레이핑

    CHAPTER 4 첫 번째 웹 스크레이퍼
    _4.1 주피터 노트북 설치 및 실행
    _4.2 연결
    _4.3 BeautifulSoup 소개
    __4.3.1 BeautifulSoup 설치
    __4.3.2 BeautifulSoup 실행
    __4.3.3 신뢰할 수 있는 연결과 예외 처리

    CHAPTER 5 고급 HTML 분석
    _5.1 다시 BeautifulSoup
    __5.1.1 find()와 find_all()
    __5.1.2 기타 BeautifulSoup 객체
    __5.1.3 트리 이동
    _5.2 정규 표현식
    _5.3 정규 표현식과 BeautifulSoup
    _5.4 속성에 접근하기
    _5.5 람다 표현식
    _5.6 닭 잡는 데 소 잡는 칼을 쓸 필요는 없습니다

    CHAPTER 6 크롤링 시작하기
    _6.1 단일 도메인 내의 이동
    _6.2 전체 사이트 크롤링
    __6.2.1 전체 사이트에서 데이터 수집
    _6.3 인터넷 크롤링

    CHAPTER 7 웹 크롤링 모델
    _7.1 객체 계획 및 정의
    _7.2 다양한 웹사이트 레이아웃 다루기
    _7.3 크롤러 구성
    __7.3.1 검색을 통한 사이트 크롤링
    __7.3.2 링크를 통한 사이트 크롤링
    __7.3.3 여러 페이지 유형 크롤링
    _7.4 웹 크롤러 모델에 대한 생각

    CHAPTER 8 스크레이피
    _8.1 스크레이피 설치
    __8.1.1 새 스파이더 초기화
    _8.2 간단한 스크레이퍼 작성하기
    _8.3 규칙에 의한 스파이더링
    _8.4 항목 만들기
    _8.5 항목 출력하기
    _8.6 파이프라인
    _8.7 스크레이피 로깅
    _8.8 마치며

    CHAPTER 9 데이터 저장
    _9.1 미디어 파일
    _9.2 데이터를 CSV로 저장
    _9.3 MySQL
    __9.3.1 MySQL 설치
    __9.3.2 기본 명령어
    __9.3.3 파이썬과 통합
    __9.3.4 데이터베이스 테크닉과 모범 사례
    __9.3.5 여섯 다리와 MySQL
    _9.4 이메일

    [PART 2 고급 스크레이핑]

    CHAPTER 10 문서 읽기
    _10.1 문서 인코딩
    _10.2 텍스트
    __10.2.1 텍스트 인코딩과 인터넷
    _10.3 CSV
    __10.3.1 CSV 파일 읽기
    _10.4 PDF
    _10.5 마이크로소프트 워드와 .docx

    CHAPTER 11 지저분한 데이터 다루기
    _11.1 텍스트 정리하기
    _11.2 정규화된 텍스트 다루기
    _11.3 판다스로 데이터 정리하기
    __11.3.1 정리
    __11.3.2 인덱싱, 정렬, 필터링
    __11.3.3 판다스에 대해 더 알아보기

    CHAPTER 12 자연어 읽고 쓰기
    _12.1 데이터 요약
    _12.2 마르코프 모델
    __12.2.1 케빈 베이컨의 여섯 다리: 결론
    _12.3 자연어 툴킷
    __12.3.1 설치
    __12.3.2 NLTK를 사용한 통계적 분석
    __12.3.3 NLTK를 사용한 사전적 분석
    _12.4 마치며

    CHAPTER 13 폼과 로그인 뚫기
    _13.1 파이썬 requests 라이브러리
    _13.2 기본적인 폼 전송
    _13.3 라디오 버튼, 체크박스, 기타 필드
    _13.4 파일과 이미지 전송
    _13.5 로그인과 쿠키 처리
    __13.5.1 HTTP 기본 접근 인증
    _13.6 기타 폼 문제

    CHAPTER 14 자바스크립트 스크레이핑
    _14.1 자바스크립트에 관한 간단한 소개
    __14.1.1 널리 쓰이는 자바스크립트 라이브러리
    _14.2 Ajax와 DHTML
    _14.3 셀레니움으로 파이썬에서 자바스크립트 실행
    __14.3.1 셀레니움 설치 및 실행
    __14.3.2 셀레니움 선택자
    __14.3.3 페이지 로딩 대기
    __14.3.4 XPath
    _14.4 그 밖의 셀레니움 웹드라이버
    _14.5 리다이렉트 처리
    _14.6 자바스크립트에 대한 마지막 노트

    CHAPTER 15 API를 통한 크롤링
    _15.1 API에 대한 간단한 소개
    __15.1.1 HTTP 메서드와 API
    __15.1.2 API 응답에 대해
    _15.2 JSON 파싱
    _15.3 문서화되지 않은 API
    __15.3.1 문서화되지 않은 API 찾기
    __15.3.2 문서화되지 않은 API 문서화하기
    _15.4 API와 다른 데이터 소스의 결합
    _15.5 마치며

    CHAPTER 16 이미지 처리와 텍스트 인식
    _16.1 라이브러리 개관
    __16.1.1 필로
    __16.1.2 테서랙트
    __16.1.3 넘파이
    _16.2 형식이 일정한 텍스트 처리
    __16.2.1 이미지 자동 조정
    __16.2.2 웹사이트 이미지에서 텍스트 스크레이핑하기
    _16.3 CAPTCHA 읽기와 테서랙트 훈련
    __16.3.1 테서랙트 훈련
    _16.4 CAPTCHA 가져오기와 답 보내기

    CHAPTER 17 스크레이핑 함정 피하기
    _17.1 스크레이핑의 윤리에 관해
    _17.2 사람처럼 보이기
    __17.2.1 헤더를 수정하십시오
    __17.2.2 쿠키 처리
    __17.2.3 TLS 핑거프린팅
    __17.2.4 타이밍이 가장 중요합니다
    _17.3 널리 쓰이는 폼 보안 기능
    __17.3.1 숨긴 필드 값
    __17.3.2 허니팟 피하기
    _17.4 사람처럼 보이기 위한 체크리스트

    CHAPTER 18 스크레이퍼로 웹사이트 테스트하기
    _18.1 테스트 입문
    __18.1.1 단위 테스트란?
    _18.2 파이썬 unittest
    __18.2.1 위키백과 테스트
    _18.3 셀레니움을 사용한 테스트
    __18.3.1 사이트 조작

    CHAPTER 19 병렬 웹 스크레이핑
    _19.1 프로세스 vs. 스레드
    _19.2 멀티스레드 크롤링
    __19.2.1 경쟁 상태와 큐
    __19.2.2 threading 모듈
    _19.3 멀티 프로세스
    __19.3.1 멀티프로세스 크롤링
    __19.3.2 프로세스 간 통신
    _19.4 멀티프로세스 크롤링의 다른 접근법

    CHAPTER 20 웹 스크레이핑 프록시
    _20.1 원격 서버를 쓰는 이유
    __20.1.1 IP 주소 차단 방지
    __20.1.2 이동성과 확장성
    _20.2 토르
    __20.2.1 파이삭스
    _20.3 원격 호스팅
    __20.3.1 웹사이트 호스팅 계정에서 실행
    __20.3.2 클라우드에서 실행
    __20.3.3 미래를 향해
    _20.4 웹 스크레이핑 프록시
    __20.4.1 스크레이핑비
    __20.4.2 스크레이퍼API
    __20.4.3 옥시랩스
    __20.4.4 자이트
    _20.5 마치며

추천사

  • 웹 크롤링에 많은 도움을 주었던 도서가 6년 만에 더 알찬 내용으로 돌아왔습니다. 현시점과 맞지 않는 X(구 트위터)나 구글 API 사용에 대한 내용은 배제하고, 지금 많이 사용되는 스크레이피를 활용하는 내용을 추가하는 등 현시점에 맞는 내용으로 업데이트되었습니다.

  • 자신만의 웹 크롤러는 단순한 기술적 도구를 넘어 업무를 혁신적으로 지원하는 강력한 파트너가 될 것입니다. 그 여정에 있어 이 책은 든든한 길잡이가 되어 줄 것입니다.

  • 이 책의 장점은 실용적이고 따라 하기 쉬운 예제들을 제공하여 복잡한 개념을 이해하기 쉽게 설명한다는 점입니다.

  • IT 개발자뿐만 아니라 데이터 분석가, 연구자에게도 충분한 지식을 제공하므로, 웹 스크레이핑 전문가로 성장하고 싶은 모든 분에게 강력히 추천합니다.

  • 이 책은 웹 스크레이핑의 기초부터 이미지 처리, 텍스트 인식, 병렬 처리 등 고급 기술까지 다루고 있어, 데이터 수집에 관심 있는 모든 분께 추천드립니다.

  • 체계적인 이론 설명과 함께 실제 사례를 바탕으로 내용을 전개하여, 단순히 기술을 설명하는 데 그치지 않고 실무 환경에서 어떻게 활용할 수 있는지 구체적으로 보여줍니다.

  • 이 책은 단순한 기술 가이드북을 넘어, 데이터 기반 혁신을 구현하는 데 필요한 통찰을 제공합니다.

  • 인터넷이 정보의 바다라고 하지만 이 책을 읽으며, 책 한 권에 밀도 있게 축적된 지식은 아직 이길 수 없다는 것을 다시 한번 확인했습니다.

  • 이 책은 웹 스크레이핑 기술의 기초 이론 설명과 함께 마케팅, 데이터 과학, 보안 등 실제 업무에 바로 적용할 수 있는 기술과 방법론을 소개합니다.

출판사 서평

HTML 기본 개념부터 AI 기반 데이터 추출까지,
높아진 웹의 장벽을 뛰어넘을 수 있는 최신 웹 크롤링 가이드

점점 더 다양하고 복잡해지는 방대한 정보의 바다에서 원하는 데이터를 얻으려면 어떻게 해야 할까요?
흩어진 데이터를 의미 있는 정보로 만들 수 있는 효과적인 도구가 있을까요? 『파이썬으로 웹 크롤러 만들기(3판)』는 이러한 질문들에 완벽한 답을 제공합니다.

1부에서는 웹 크롤링에 대한 기본적인 개념과 함께 파이썬과 BeautifulSoup 및 스크레이피와 같은 인기 라이브러리를 사용하는 비교적 간단한 웹 크롤러를 소개합니다. 그 후 MySQL의 데이터 저장, API 처리, CSV, PDF, 워드와 같은 형식의 문서 분석과 같은 핵심 기술을 이해하며 웹을 탐색하는 기본기를 배우게 됩니다.

2부에서는 1부에서 배운 기본기를 토대로 보다 복잡한 웹 환경을 분석하고 처리하기 위한 고급 기술을 다룹니다. 셀레니움을 활용하여 동적 자바스크립트 기반 페이지를 스크랩하고, 판다스와 같은 도구를 사용하여 지저분한 데이터를 정리하는 방법을 알아봅니다. 또한, 텍스트 데이터에서 의미를 추출할 수 있는 NLTK를 활용한 자연어 처리를 설명하며, 이미지에서 텍스트를 추출하여 CAPTCHA를 우회할 수 있는 테서랙트와 필로 같은 도구들도 함께 소개합니다.

변화하는 최신 웹 환경에 적절히 대응할 수 있도록 개정된 3판에서는 2판보다 이해하기 편한 구성으로 내용을 재배치하였고, 전반적으로 코드를 업데이트했습니다. 웹 크롤링을 처음 시작하는 초급자는 물론, 기존에 웹 크롤링을 업무에 활용하고 있던 중급자 이상의 분들에게도 만족감을 드릴 수 있는 도서라 자부합니다.


대상 독자
● 웹 크롤링을 시작하고 싶은 모든 개발자
● 이미 업무에 웹 크롤링을 활용하고 있는 개발자
● 파이썬을 이용하여 웹 데이터를 모으고 싶은 개발자

주요 내용
● 복잡한 HTML 파싱
● 자연어 읽고 쓰기
● 폼 및 로그인 크롤링
● 스크레이피 프레임워크로 크롤러 만들기
● 수집한 데이터를 저장하는 다양한 방법
● 자바스크립트 수집 및 API 이용
● 문서에서 데이터를 읽고 추출하기
● 봇 차단을 피하는 법
● 지저분한 데이터 형식 정돈하기
● 크롤러를 이용한 웹사이트 테스팅

기본정보

상품정보 테이블로 ISBN, 발행(출시)일자 , 쪽수, 크기, 총권수, 원서(번역서)명/저자명을(를) 나타낸 표입니다.
ISBN 9791169213240
발행(출시)일자 2025년 01월 31일
쪽수 준비중
크기
183 * 237 * 19 mm / 846 g
총권수 1권
원서(번역서)명/저자명 Web Scraping with Python/Mitchell, Ryan

Klover

구매 후 리뷰 작성 시, e교환권 200원 적립

데이터를 불러오는 중입니다.

문장수집 (0)

문장수집 안내
문장수집은 고객님들이 직접 선정한 책의 좋은 문장을 보여주는 교보문고의 새로운 서비스입니다. 마음을 두드린 문장들을 기록하고 좋은 글귀들은 "좋아요“ 하여 모아보세요. 도서 문장과 무관한 내용 등록 시 별도 통보 없이 삭제될 수 있습니다.
리워드 안내
구매 후 90일 이내에 문장수집 작성 시 e교환권 100원을 적립해드립니다.
e교환권은 적립 일로부터 180일 동안 사용 가능합니다. 리워드는 작성 후 다음 날 제공되며, 발송 전 작성 시 발송 완료 후 익일 제공됩니다.
리워드는 한 상품에 최초 1회만 제공됩니다.
주문취소/반품/절판/품절 시 리워드 대상에서 제외됩니다.
판매가 5,000원 미만 상품의 경우 리워드 지급 대상에서 제외됩니다. (2024년 9월 30일부터 적용)

구매 후 리뷰 작성 시, e교환권 100원 적립

이 책의 첫 기록을 남겨주세요.

교환/반품/품절 안내

  • 반품/교환방법

    마이룸 > 주문관리 > 주문/배송내역 > 주문조회 > 반품/교환 신청, [1:1 상담 > 반품/교환/환불] 또는 고객센터 (1544-1900)
    * 오픈마켓, 해외배송 주문, 기프트 주문시 [1:1 상담>반품/교환/환불] 또는 고객센터 (1544-1900)
  • 반품/교환가능 기간

    변심반품의 경우 수령 후 7일 이내,
    상품의 결함 및 계약내용과 다를 경우 문제점 발견 후 30일 이내
  • 반품/교환비용

    변심 혹은 구매착오로 인한 반품/교환은 반송료 고객 부담
  • 반품/교환 불가 사유

    1) 소비자의 책임 있는 사유로 상품 등이 손실 또는 훼손된 경우
    (단지 확인을 위한 포장 훼손은 제외)
    2) 소비자의 사용, 포장 개봉에 의해 상품 등의 가치가 현저히 감소한 경우
    예) 화장품, 식품, 가전제품(악세서리 포함) 등
    3) 복제가 가능한 상품 등의 포장을 훼손한 경우
    예) 음반/DVD/비디오, 소프트웨어, 만화책, 잡지, 영상 화보집
    4) 소비자의 요청에 따라 개별적으로 주문 제작되는 상품의 경우 ((1)해외주문도서)
    5) 디지털 컨텐츠인 ebook, 오디오북 등을 1회이상 ‘다운로드’를 받았거나 '바로보기'로 열람한 경우
    6) 시간의 경과에 의해 재판매가 곤란한 정도로 가치가 현저히 감소한 경우
    7) 전자상거래 등에서의 소비자보호에 관한 법률이 정하는 소비자 청약철회 제한 내용에 해당되는 경우
    8) 세트상품 일부만 반품 불가 (필요시 세트상품 반품 후 낱권 재구매)
    9) 기타 반품 불가 품목 - 잡지, 테이프, 대학입시자료, 사진집, 방통대 교재, 교과서, 만화, 미디어전품목, 악보집, 정부간행물, 지도, 각종 수험서, 적성검사자료, 성경, 사전, 법령집, 지류, 필기구류, 시즌상품, 개봉한 상품 등
  • 상품 품절

    공급사(출판사) 재고 사정에 의해 품절/지연될 수 있으며, 품절 시 관련 사항에 대해서는 이메일과 문자로 안내드리겠습니다.
  • 소비자 피해보상 환불 지연에 따른 배상

    1) 상품의 불량에 의한 교환, A/S, 환불, 품질보증 및 피해보상 등에 관한 사항은 소비자분쟁 해결 기준 (공정거래위원회 고시)에 준하여 처리됨
    2) 대금 환불 및 환불지연에 따른 배상금 지급 조건, 절차 등은 전자상거래 등에서의 소비자 보호에 관한 법률에 따라 처리함

상품 설명에 반품/교환 관련한 안내가 있는 경우 그 내용을 우선으로 합니다. (업체 사정에 따라 달라질 수 있습니다.)

소스 코드: 더 비기닝
이벤트
  • 25년 2월 북드림
  • 2025 1학기 대학교재전
01 / 02
TOP