안녕, 트랜스포머

BERT에서 시작하는 자연어 처리 레시피

이진기 저자(글)

에이콘출판 · 2022년 07월 29일

책 소개

자연어 처리를 위한 AI 모델의 핵심 기술과 활용법에 대해서 다룬다. N-gram으로 접근하는 전통적인 모델 방식의 한계를 설명하고, AI 모델이 그 문제를 어떻게 해결할 수 있는지 설명한다. 어텐션 네트워크의 배경과 핵심 원리를 자세하게 설명하고 있고, 이 구조를 통해서 트랜스포머나 BERT 등의 구조를 설명한다. 또한 자연어 처리에 있어서 메타학습 방법도 간략하게 소개한다.

작가정보

저자(글) 이진기

안랩의 보안 관제 엔지니어로 IT 업계에 발을 들였다. 그러던 중 2015년에 데이터 분석을 공부하기 위해 영국의 워릭대학교(The University of Warwick)로 석사 유학을 떠났다. 석사 취득 후에는 안랩에서 보안 관제를 위한 머신러닝/AI 서비스를 연구하고 개발했다. 현재는 포스코ICT의 AI기술그룹에서 컴퓨터 비전 프로젝트를 연구하고 있다.

작가의 말

2015년 전까지도 AI라는 용어는 IT 전문직에 종사하는 소수만이 알고 있는 전문 용어였습니다. 사람들은 이세돌 9단을 이긴 알파고의 바둑 실력에 놀라움을 감추지 못했고 실제 기자가 쓴 기사와 비슷한 수준의 가짜 기사문을 보고 기계가 정말 사람과 같이 말하고 생각할 수 있다는 것을 알게 됐습니다. 그로부터 7년이 지난 지금 AI는 누구나 상식으로 알고 있는 용어가 됐고, AI는 더욱 발전해서 특정 영역에서는 이미 사람을 뛰어넘는 성능을 보이고 있습니다. 2015년부터 2022년 현재까지 수많은 글로벌 대기업과 해외 유명대학에서 AI에 대해 수많은 연구가 이뤄졌습니다. 그 연구의 성과는 여러 가지가 있겠지만, 제가 가장 높이 평가하는 것은 AI 기술에 대한 접근성이 대중에게 조금 더 가까워졌다는 것입니다. 모델을 개발할 때 사용하는 플랫폼도 사용하기 쉽게 바뀌었고, 모델을 학습할 때 사용하는 데이터 역시 여러 기관에서 오픈 데이터 형태로 다운로드할 수 있게 됐습니다. 또한 AI 기술에 대한 블로그나 영상도 많아서 혼자 AI 공부를 시작하는 것도 훨씬 수월해졌습니다. 이 책을 통해서 AI가 예전처럼 그렇게 진입장벽이 높은 학문이 아니라는 것을 알려주고 싶습니다. 수많은 대기업과 연구 기관에서 핵심 알고리즘을 오픈소스로 공개했고, 그 알고리즘으로 학습한 모델을 다운로드해서 사용할 수 있도록 공개했습니다. AI 기술, 특히 자연어 처리를 위한 AI를 공부하고자 하는 사람들에게 이 책이 디딤돌 역할을 할 수 있었으면 좋겠습니다.

목차

• 1장 다음 단어는요? 언어 모델
  __1.1. 언어 모델은 확률 게임
  __1.2. N-gram 언어 모델
  ____1.2.1. 텍스트 전처리
  ____1.2.2. 제로 카운트 해결하기
  ____1.2.3. N-gram 모델 학습하기
  ____1.2.4. N-gram 언어 모델의 한계
  __1.3. Word2Vec 기반의 언어 모델
  __1.4. RNN 기반의 언어 모델
  __1.4.1. RNN의 구조
  __1.4.2. GRU 언어 모델 구현하기
  __1.4.3. GRU 언어 모델로 문장 생성하기
  
  2장 집중해 보자! 어텐션
  __2.1. 하나의 벡터로 모든 정보를 담는 RNN
  __2.2. 왜 어텐션(Attention)하지 않지?
  __2.3. 어떻게 어텐션(Attention)하지?
  ____2.3.1. 묻고 참고하고 답하기
  ____2.3.2. 어텐션 계산해 보기
  ____2.3.3. 어텐션 구현하기
  ____2.3.4 모델링 학습하기
  
  3장 안녕, 트랜스포머
  __3.1. 트랜스포머의 구조
  __3.2. 트랜스포머 구현하기
  ____3.2.1. 인코더
  __3.3. Why Transformer
  __3.4. 트랜스포머 학습 결과
  ____3.4.1. Perplexity(PPL)
  ____3.4.2. BLEU 스코어
  
  4장 중간부터 학습하자! 사전학습과 파인튜닝
  __4.1. 사전학습과 Fine-Tuning
  __4.2. BERT
  ____4.2.1. BERT의 모델 구조와 이해하기
  ____4.2.2. BERT 모델의 입력 이해하기
  ____4.2.3. 사전학습 이해하기
  ____4.2.4. Masked Language Model(MLM)
  ____4.2.5. Next Sentence Prediction(NSP)
  ____4.2.6. 사전학습을 위한 데이터셋 준비와 Self-supervised Learning
  ____4.2.7. 사전학습 파헤치기
  ____4.2.8. 사전학습 정리하기
  ____4.2.9. Fine-Tuning 이해하기
  ____4.2.10. 텍스트 분류 모델로 파인튜닝하기
  ____4.2.11. 질의응답 모델로 파인튜닝하기
  __4.3. GPT
  ____4.3.1. GPT의 사전학습
  ____4.3.2. Masked Self-Attention
  __4.4. RoBERTa
  ____4.4.1. 정적 또는 동적 마스킹 전략
  ____4.4.2. NSP 전략
  ____4.4.3. 배치 사이즈와 데이터셋 크기
  __4.5. ALBERT
  ____4.5.1. Factorized Embedding Parameterization
  ____4.5.2. Cross-layer Parameter Sharing
  ____4.5.3. Sentence Order Prediction(SOP)
  ____4.5.4. ALBERT 정리
  __4.6. ELECTRA
  ____4.6.1. 학습 구조
  ____4.6.2. RTD
  __4.7. DistilBERT
  ____4.7.1. 지식 증류
  ____4.7.2. DistilBERT의 구조와 성능 비교
  __4.8. BigBird
  ____4.8.1. 전체 문장에 대한 어텐션, 글로벌 어텐션
  ____4.8.2. 가까운 단어에만 집중하기, 로컬 어텐션
  ____4.8.3. 임의의 토큰에 대한 어텐션, 랜덤 어텐션
  ____4.8.4. 토큰 길이에 따른 연산량 비교
  __4.9. 리포머
  ____4.9.1. 트랜스포머 구조의 문제점
  ____4.9.2. LSH 어텐션
  ____4.9.3. Reversible 트랜스포머
  __4.10. GLUE 데이터셋
  ____4.10.1. CoLA
  ____4.10.2. SST-2 데이터셋
  ____4.10.3. MRPC
  ____4.10.4. QQP
  ____4.10.5. STS-B
  ____4.10.6. MNLI
  ____4.10.7. QNLI
  ____4.10.8. RTE
  ____4.10.9. WNLI
  ____4.10.10. GLUE 데이터셋의 평가 지표
  
  5장 어떻게 배우지? 메타러닝
  __5.1. 학습을 위한 학습, 메타러닝
  __5.2. 메타러닝을 이용한 Amazon 리뷰 감정 분류 학습하기
  ____5.2.1. 데이터셋과 데이터로더 만들기
  __5.3. GPT2에서의 메타러닝
  ____5.3.1. GPT2를 학습하기 위한 접근 방법
  ____5.3.2. GPT2의 학습 데이터셋과 멀티태스크
  ____5.3.3. GPT2 성능 평가 결과
  ____5.3.4. GP2를 통한 문장 생성
  ____5.3.5. GPT2를 이용한 퓨샷 러닝
  
  부록. 양자화
  __1.1. 양자화에 대한 수학적인 이해와 코드 구현
  __1.2. 양자화된 행렬을 이용한 행렬 곱셈과 덧셈
  __1.3. 동적 양자화와 정적 양자화
  __1.4. BERT 양자화하기

출판사 서평

◈ 이 책에서 다루는 내용 ◈

◆ N-gram을 이용한 자연어 처리 기법
◆ 자연어 처리를 위한 RNN 기반의 AI 모델 구조 및 장단점
◆ 어텐션 네트워크의 탄생 배경과 핵심 원리
◆ 어텐션 네트워크를 활용한 트랜스포머의 구조
◆ BERT의 구조 및 사전학습/파인튜닝 방법
◆ BERT 이후의 AI 모델들
◆ 자연어 처리에 대한 메타러닝 방법

◈ 이 책의 대상 독자 ◈

어느 정도 파이썬 코드를 읽고 구현할 수 있으며 머신러닝에 대한 기초 역량이 있는 독자를 대상으로 저술했다. 파이썬을 접해본 적 없거나 머신러닝에 입문하는 독자가 공부하기에 어려울 수 있다.

◈ 이 책의 구성 ◈

1장에서는 언어 모델에 관한 내용을 다뤘다. 언어 모델이 무엇인지 확률적으로 정의한 후, N-gram 기법을 이용해서 언어 모델을 설명하고 그 과정을 코드를 통해 구현했다. 또한 N-gram 이후에 오랫동안 사용됐던 인공지능 모델인 RNN 계열의 인공지능 모델도 설명했다. RNN 계열의 언어 모델도 간단하게 학습해볼 수 있도록 샘플 코드를 구현했다.
2장에서는 어텐션에 대해서 자세하게 다뤘다. 어텐션은 트랜스포머의 핵심을 이루는 연산이다. 어텐션 연산을 RNN 계열에 추가했을 때 어떠한 장점이 있는지 설명했\하고 관련된 샘플 코드도 공부해볼 수 있도록 구현했다.
3장부터 본격적으로 트랜스포머의 구조를 다뤘다. 2장에서 다룬 어텐션을 기반으로 트랜스포머를 어떻게 구현했는지 구조적으로 설명했다.
4장에서는 BERT 모델에 대해서 설명했다. BERT를 사전 학습하는 방법에 대해서 소개했고, 사전학습된 모델을 파인튜닝하는 방법에 대해서도 소개하며 또한 BERT 이후에 발표된 개선된 모델도 몇 가지 소개했다.
5장에서는 GPT 계열의 모델을 설명했다. GPT2에서부터는 메타러닝의 개념이 추가된다. 자연어 처리에서 메타러닝이 왜 필요하고 어떤 방법으로 학습되는지 소개했다. 다만 GPT2/GPT3의 정확한 학습 방법은 공개되지 않았기 때문에 학습 과정은 코드로 구현하지 못했다.
마지막으로 부록에서는 딥러닝 모델의 양자화에 대해서 살펴본다. 딥러닝 모델의 성능이 비약적으로 발전했지만 그와 동시에 모델의 연산량과 파라미터 수도 굉장히 많아졌다. 큰 모델을 간단하게 경량화할 수 있는 방법으로 양자화가 있다. 부록에서는 양자화의 기본 원리에 대해서 다루고 4장에서 살펴본 BERT를 파인 튜닝해서 학습한 분류 모델을 경량화하는 내용을 다룬다.

기본정보

ISBN	9791161756325 ( 1161756329 )
발행(출시)일자	2022년 07월 29일
쪽수	258쪽
크기	188 * 235 * 21 mm / 634 g
총권수	1권