101가지 문제로 배우는 딥러닝 허깅페이스 트랜스포머 with 파이토치

누구나 쉽게 따라하는 트랜스포머 모델 실습

조슈아 K. 케이지 저자(글) · 임선집 번역 · 채호창 감수

루비페이퍼 · 2023년 08월 04일

책 소개

트랜스포머스 라이브러리를 활용하는 가장 쉬운 방법!
텍스트 번역ㆍ생성부터 음성, 이미지 인식까지 한번에 배운다!

허깅페이스 트랜스포머스(Transformers)는 여러 회사에서 독자적으로 개발한 트랜스포머 모델을 누구나 쉽게 사용하게 도와주는 라이브러리입니다. 책에서 제공하는 101가지 문제를 통해 허깅페이스 트랜스포머스 라이브러리를 쓰는 방법을 하나하나 알아봅니다. 트랜스포머스 모델에 대한 기본적인 이론뿐만 아니라 직접 코드를 작성하면서 주도적으로 문제를 해결하고 결과를 탐구하는 시간도 함께 다룹니다.

작가정보

저자(글) 조슈아 K. 케이지

와세다대학에서 School of Fundamental Science and Engineering을 전공했다. 관심 연구 분야로는 컴퓨터 네트워크 보안, 데이터마이닝, 머신러닝, 딥러닝 등이 있다.

번역 임선집

KOTRA에서 전자상거래를 담당, 한국인터넷진흥원 정보시스템 팀장을 역임했다. 미국 주립대 University of Central Oklahoma에서 MBA, MSBA 학위 및 SAS Enterprise Miner 자격증을 받았다. 현재는 한국폴리텍대학과 Endicott College 등에서 텍스트 분석, 컴퓨터 비전, 파이썬/파이토치/트랜스포머를 우리말과 영어로 강의를 하고 있다. 저서로는 《플로우가 보이는 머신러닝 프로젝트》와 《오렌지3 데이터 분석 with 파이썬》이 있다.

_유튜브: youtube.com/@jasonyimc (채널명: 어쩌다 코딩)
_유데미: udemy.com/course/orange3-python-syim

감수 채호창

미국 주립대 University of Central Oklahoma에서 Business Analytics 부교수로 재직 중입니다. MSBA 학생들을 상대로 기계학습, 인공지능, 딥러닝을 가르치며 MSBA Course Coordinator로 일하고 있습니다. University of North Texas에서 Business Computer Information Systems로 박사 학위를 받았습니다. 정보 기술이 기업 성과에 어떻게 영향을 미치는지를 ERP 시스템 도입, 모바일 앱 도입 등의 실증 연구를 주로 하고 있고, 최근에는 머신러닝ㆍ딥러닝을 이용해서 혁신 기업을 찾는 연구 중입니다.

목차

• 01장 파이프라인
  _문제 001 구글 코랩 환경 설정
  _문제 002 감성 분석
  _문제 003 질의 응답
  
  02장 DistillBERT 파인튜닝 및 평가
  _사전준비: GPU 설정
  _문제 004 IMDB 데이터세트
  _문제 005 레이블 인코딩
  _문제 006 학습 및 검증 데이터세트 분리
  _문제 007 토크나이징 및 인코딩
  _문제 008 데이터세트 클래스 생성
  _문제 009 사전학습 모델 불러오기
  _문제 010 TrainingArguments 설정
  _문제 011 GPU로 전송
  _문제 012 Trainer 클래스 사전학습
  _문제 013 파이토치 사전학습
  
  03장 모델 성능 평가
  _예측 성과지표
  _문제 014 정확도
  _문제 015 재현율, 정밀도, F1값
  _문제 016 분류 리포트
  
  04장 GPT를 활용한 작문
  _문제 017 GPT-Neo 작문 환경 설정
  _문제 018 GPT-Neo 토크나이징
  _문제 019 GPT_Neo 작문
  _문제 020 DistilGPT2 환경 설정
  _문제 021 DistilGPT2 작문
  _문제 022 DialoGPT 환경 설정
  _문제 023 DialoGPT 작문
  
  05장 MLM
  _문제 024 BERT 로딩 MLM 파이프라인
  _문제 025 DistilBERT 로딩 MLM 파이프라인
  _문제 026 ALBERT 로딩 MLM 파이프라인
  
  06장 CLIP - 이미지 인식과 자연어 처리 연동
  _CLIP란?
  _문제 027 CLIP 모듈 설치
  _문제 028 샘플 이미지 데이터세트
  _문제 029 CLIP 기반 사전학습 모델 불러오기
  _문제 030 CLIP 기반 사전학습 모델 신경망 구조
  _문제 031 CLIP 전처리
  _문제 032 전처리 후 이미지 확인
  _문제 033 인코딩 및 디코딩
  _문제 034 CLIP 추론
  _문제 035 CLIP 추론에서 로짓 추출
  _문제 036 CLIP 캡션 예측 결과
  
  07장 Wav2Vec2 자동 음성 인식
  _문제 037 Wav2Vec2 모듈 설치
  _문제 038 Wav2Vec2 사전학습 모델 불러오기
  _문제 039 자동 음성 인식 데이터세트 불러오기
  _문제 040 코랩에서 오디오 데이터 확인
  _문제 041 Wav2Vec2 전처리
  _문제 042 Wav2Vec2 자동 음성 인식 실행
  
  08장 BERT 다중 클래스 분류
  _문제 043 다중 클래스 분류용 BERT 사전학습 모델 불러오기
  _문제 044 데이터세트 준비
  _문제 045 파인튜닝 없는 BERT 분류
  _문제 046 BERT 분류 파인튜닝
  _문제 047 파인튜닝 BERT 모델 학습 과정 시각화
  _문제 048 파인튜닝 후 BERT 분류
  _문제 049 분류 정확도
  
  09장 BART 자동 요약
  _문제 050 BART 라이브러리 설정 및 사전학습 모델 불러오기
  _문제 051 정규식 활용 전처리
  _문제 052 학습 모델 이전에 BART 토크나이징
  _문제 053 BART 토크나이징 결과를 넘파이 어레이로 변경
  _문제 054 BART 추론
  _문제 055 BART 추론 결과 디코딩
  
  10장 BERT 앙상블 학습
  _문제 056 BERT 앙상블 학습 라이브러리 설정
  _문제 057 BERT 앙상블 데이터세트 준비
  _문제 058 BERT 앙상블 클래스 정의
  _문제 059 앙상블 트레이닝에 사용할 사전학습 BERT 불러오기
  _문제 060 BERT 앙상블 학습 - 데이터 증강
  _문제 061 BERT 앙상블 학습 - 커스텀 데이터세트 정의
  _문제 062 BERT 앙상블 학습 - DataLoader
  _문제 063 BERT 앙상블 파인튜닝
  _문제 064 학습 데이터세트를 활용한 BERT 앙상블 학습 및 예측
  _문제 065 학습 데이터세트 이외의 BERT 앙상블 학습 및 예측
  
  11장 BigBird
  _문제 066 BigBird 라이브러리 설정 및 사전학습 모델 불러오기
  _문제 067 BigBird 추론용 데이터세트 준비
  _문제 068 BigBird 토크나이징 및 인코딩
  _문제 069 BigBird 추론
  
  12장 PEGASUS
  _문제 070 PEGASUS 라이브러리 설정 및 사전학습 모델 불러오기
  _문제 071 토크나이징 및 인코딩
  _문제 072 PEGASUS 자동 요약
  
  13장 M2M100 자동 번역
  _문제 073 M2M100 라이브러리 설치 및 사전학습 모델 불러오기
  _문제 074 M2M100 번역 소스로 중국어 텍스트 준비
  _문제 075 소스 언어 M2M100 토크나이징
  _문제 076 M2M100 중국어/영어 자동 변역
  _문제 077 generate 메서드 결과물 디코딩
  _문제 078 M2M100 번역 소스로 한국어 텍스트 준비
  _문제 079 M2M100 한국어 텍스트 토크나이징
  _문제 080 M2M100 한국어/영어 자동 번역
  _문제 081 M2M100 번역 결과물 디코딩
  
  14장 Mobile BERT
  _문제 082 Mobile BERT 라이브러리 설치 및 사전학습 모델 불러오기
  _문제 083 Mobile BERT vs BERT Tokenizer
  _문제 084 Mobile BERT 추론 시 마지막 은닉층
  _문제 085 Mobile BERT 빈칸 채우기 퀴즈
  
  15장 GPT, DialoGPT, DistilGPT2
  _문제 086 DistilGPT2 라이브러리 설치 및 사전학습 모델 불러오기
  _문제 087 DistilGPT2 시각화
  _문제 088 DistilGPT2 문장 생성
  _문제 089 DialoGPT 모델(Diologe Text Pre-Learning Model) 불러오기
  _문제 090 DialoGPT 문장 생성
  
  16장 자연어 처리 실습 - BERT 및 tSNE
  _문제 091 위키피디아 영문 키워드 검색
  _문제 092 모더나 COVID-19 위키피디아 텍스트 가져오기
  _문제 093 화이자 COVID-19 위키피디아 텍스트 가져오기
  _문제 094 BERT 도큐먼트 벡터 처리 모듈 설치
  _문제 095 BERT 사전학습 모델을 파이프라인에 불러오기
  _문제 096 BERT 도큐먼트 벡터 표현 추출
  _문제 097 BERT 벡터 차원, 단어 토크나이징 및 디코딩
  _문제 098 BERT [CLS] 토큰의 도큐먼트 벡터 표현 함수 및 BERT 전처리
  _문제 099 모더나/화이자 Covid-19 백신 BERT [CLS] 벡터 추출
  _문제 100 토크나이저를 통한 빈도수 합산
  _문제 101 모더나 vs 화이자 t-SNE 시각화

출판사 서평

이 책은 트랜스포머 모델에 대한 가장 기본적인 개념과 이론은 물론, 실전에서 유용한 코랩과 파이토치를 통해 문장 자동 번역, 줄거리 요약, 음성/이미지 인식, 추출 등의 자연어 처리 과정을 경험해 볼 수 있습니다. 또한 체계적으로 분류된 101가지 문제를 바탕으로 허깅페이스의 트랜스포머스 라이브러리를 다루며 상황에 따라 활용하는 방법을 알아봅니다.

[이 책에서 다루는 내용]
_01~03장: 구글 코랩 환경 설정 / DistillBERT 파인튜닝, IMDB 데이터세트, 사전학습 / 모델 성능 평가, 예측 성과 지표 분석
_04~05장: GPT-Neo, DistilGPT2, DialoGPT를 활용한 텍스트 자동 생성 / BERT, DistilBERT, ALBERT 로딩 MLM 파이프라인을 통한 토큰 예측
_06~07장: CLIP를 통한 이미지 인식과 자연어 처리 / Wav2Vec2 자동 음성 인식 모델, 오디오 데이터 처리
_08~09장: BERT 사전학습 모델, 데이터세트, 파인튜닝, 분류 정확도 분석 / BART 사전학습 모델, 정규식 활용, 토크나이징, 추론, 디코딩
_10~12장: BERT 앙상블 데이터세트, BERT 앙상블 학습 및 예측 / BigBird 데이터세트와 추론 / PEGASUS 토크나이징 및 인코딩, 자동 요약
_13~14장: M2M100를 통한 중국어, 한국어 자동 번역 / Mobile BERT 라이브러리를 활용한 빈칸 채우기
_15~16장: GPT, DialoGPT, DistilGPT2를 통한 문장 생성 활용 / BERT, tSNE의 자연어 처리 실습 및 벡터 처리, 시각화

[이 책의 대상 독자]
_트랜스포머스 라이브러리를 직접 경험해 보고 싶은 대학생, 개발자
_파이토치와 코랩으로 간편하게 딥러닝, 머신러닝을 분석하고 싶은 사람 누구나!

기본정보

ISBN	9791193083055
발행(출시)일자	2023년 08월 04일
쪽수	232쪽
크기	188 * 257 * 15 mm / 725 g
총권수	1권
원서(번역서)명/저자명	Python transformers by Huggingface hands on : 101 practical implementation hands-on of ALBERT/ViT/BigBird and other latest models with huggingface transformers/Joshua K. Cage

Klover 리뷰 (10)

[hs****]

도움이 많이 되었습니다

[li******]

배송이 늦어 조금아쉬웟지만
목차부분에서 충분히도움될거라 생각되어
주문했습니다
잘읽어보고후기남길께요

[sk******]

요즘 트렌드인 허깅페이스의 라이브러리를 활용하여 간단한 프로젝트 연습이 가능

[ro********]

문제풀면서공부하는중