25가지 문제로 배우는 LLM 입문 with 파이썬

생성 AI 기초부터 모델 구현까지 단계별 LLM 학습서

요시키 간다 저자(글) · 임선집 번역

루비페이퍼 · 2024년 07월 18일

책 소개

비전공자도 이해 가능한 LLM,
생성 AI 기초부터 직접 만든 모델의 파인튜닝까지
25가지 실습으로 완성한다!

이 책은 인공지능이 낯선 비전공자부터 언어 생성 모델을 구축하려는 개발자 또는 데이터 과학자까지 모두를 위한 LLM 학습서입니다. 난도별로 정리된 이론과 실습을 통해 생성 AI와 모델의 개념을 이해하고 직접 생성 모델을 구축하기까지 차근차근 안내합니다.

작가정보

저자(글) 요시키 간다

와세다대학에서 School of Fundamental Science and Engineering을 전공했다. 관심 연구 분야로는 컴퓨터 네트워크 보안, 데이터마이닝, 머신러닝, 딥러닝 등이 있다.

번역 임선집

미국 주립대 University of Central Oklahoma에서 MBA, MSBA 학위 및 SAS Enterprise Miner 자격증을 취득했다. 한국인터넷진흥원 조사 분석 팀장을 역임했고 데이터 분석, 챗GPT, 코파일럿, 엑셀, 오렌지3, 파이썬, 파이토치, 트랜스포머, 자연어 처리 과목으로 다수 기업 및 대학에 출강 중이다. 저서로는 〈오렌지3 데이터 분석 with 파이썬〉과 〈플로우가 보이는 머신러닝 프로젝트〉가 있으며 현재 컴퍼스랩의 Data Analyst 및 한국 열린 사이버 대학 특임 교수로 재직 중이다.
● 파이썬 머신러닝 유데미 강의: https://bit.ly/43gHFEd
● 오렌지3 데이터 분석 유데미 강의: https://bit.ly/3ICg7zo
● 챗GPT 플러그인: 데이터 분석 Starter

목차

• Chapter 1 생성 AI
  __01-1 _ 생성 AI란?
  __01-2 _ 튜링 테스트
  ______실습01 챗GPT의 튜링 테스트
  __01-3 _ AI의 정의
  __01-4 _ 검색 엔진 빙 코파일럿
  ______실습02 질의 응답하기
  ______실습03 이미지 생성하기
  ______실습04 이미지로 질의 응답하기
  __01-5 _ AI의 역사와 생성 AI
  __01-6 _ 파이썬 프로그램 환경
  ______실습05 첫 파이썬 코딩
  __01-7 _ AI 다트머스 회의
  ______실습06 숫자 이미지 그리기
  ______실습07 전결합형 신경망 정의하기
  ______실습08 학습 전 추론: 더미 데이터
  ______실습09 학습 전 추론: 테스트 데이터
  ______실습10 전처리: 데이터 정규화
  ______실습11 학습 데이터 및 테스트 데이터 분할
  ______실습12 신경망 학습시키기
  ______실습13 성과 평가하기
  ______실습14 추론 및 시각화하기
  __01-8 _ 머신러닝
  __01-9 _ Word2Vec으로 King-Man+Woman 계산
  ______실습15 Word2Vec, 유사한 단어 찾아 정렬하기
  __01-10 _ 딥러닝
  ______실습16 Sentence-Transformer를 활용한 문장의 유사도 측정하기
  __01-11 _ 디퓨전 모델과 MMM
  ______실습17 텍스트로 이미지 생성하기
  
  Chapter 2 LLM 기본 편
  __02-1 _ 언어 모델이란?
  __02-2 _ n-gram 언어 모델
  ______실습18 n-gram 언어 모델 기본형 만들기
  ______실습19 응용 n-gram 언어 모델 만들기
  __02-3 _ RNN 언어 모델
  ______실습20 RNN 언어 모델
  __02-4 _ Seq2Seq 모델과 셀프 어텐션 메커니즘
  __02-5 _ 트랜스포머
  ______실습21 트랜스포머를 이용한 신경망 기계 번역하기
  
  Chapter 3 LLM 심화 편
  __03-1 _ GPT
  ______실습22 GPT, picoGPT 실행하기
  ______실습23 GPT로 한국어 문장 생성하기
  __03-2 _ BERT
  ______실습24 BERT 파인튜닝으로 영문 뉴스 기사 분류하기
  __03-3 _ Text-to-Text 트랜스포머, T5
  __03-4 _ 스케일링 법칙
  __03-5 _ 언어 모델 퓨샷 학습기
  __03-6 _ FLAN
  __03-7 _ InstructGPT(RLHF, PPO)
  __03-8 _ RLHF에서 DPO로
  __03-9 _ MoE
  __03-10 _ Sparse MoE
  ______실습25 나만의 LLM 파인튜닝하기

출판사 서평

이 책은 파이토치, 허깅페이스, 파이썬 등으로 구성된 25개의 실습 과제로 생성 AI와 대규모 언어 모델, 즉 LLM의 기초와 최신 기술 동향을 살펴봅니다. 먼저 개념과 이론을 살펴보고 연계된 실습을 진행한 다음 코드를 한 줄씩 상세하게 살펴보면서 이해를 높일 수 있도록 구성하였습니다. 실습은 간단하게는 프롬프트로 이미지를 생성하는 것부터 데이터 전처리, 추론 및 시각화 등을 통해
실제로 생성 AI를 구축하거나 파이토치, 허깅페이스, 파이썬 코드를 작성하는 방식으로 구성되어 있습니다. 이 책은 총 3개의 파트로 구성되어 있으며 각 파트에서 다루는 내용은 다음과
같습니다.

Chapter 1. 생성 AI
생성 AI의 정의와 구성, 알아 두어야 할 용어들을 살펴봅니다. 이 책의 실습 환경인 구글 코랩에서 간단한 실습을 통해 AI의 동작 방식을 이해할 수 있습니다.

Chapter 2. LLM 기본 편
일상에서 흔히 쓰는 AI의 기반 모델들을 살펴봅니다. n-gram, RNN, Seq2Seq, 트랜스포머 등을 살펴보고 직접 모델을 만들어 보면서 모델을 활용하는 방법을 익히게 됩니다.

Chapter 3. LLM 심화 편
더 다양한 모델과 라이브러리를 활용해 고도화된 모델을 만듭니다. GPT로 한국어 문장을 생성하기, BERT 파인튜닝으로 영문 뉴스 기사 분류하기와 같은 실습을 진행합니다. 나아가 구글 Gemma-2b, LoRa를 활용해 파인튜닝 과정까지 다룹니다.

★이 책의 대상 독자★
- 기초부터 차근차근 LLM과 생성 AI 지식을 쌓으려는 개발자
- LLM을 활용해 데이터 분석 및 모델링이 필요한 데이터 과학자
- 최신 AI 기술과 모델을 연구하고 활용하려는 AI 연구원
- 생성 AI의 밑바닥부터 구현까지 학습이 필요한 학생

★이 책의 실습 예제 다운받기★
https://github.com/jasonyim2/book5

기본정보

ISBN	9791193083192
발행(출시)일자	2024년 07월 18일
쪽수	264쪽
크기	170 * 232 * 20 mm / 664 g
총권수	1권