트랜스포머로 시작하는 언어 모델과 생성형 인공지능

100개의 그림 예제로 이해하기

추형석 저자(글)

위즈앤북(Wiznbook) · 2025년 01월 10일

책 소개

ㆍ트랜스포머로 시작하는 사전 학습 언어 모델, 거대 언어 모델, 소형 거대 언어 모델을 분석!
ㆍChatGPT 이후 급격하게 변화된 인공지능 기술을 상세히 분석!
ㆍOpenAI와 대결하는 거대 테크 기업간의 다양한 언어 모델을 분석!

이 책은 트랜스포머의 기본 원리부터 이를 기반으로 한 언어 모델의 발전 과정과 생성형 인공지능의 시대까지 그 흐름을 쉽고 체계적으로 설명합니다. 특히, 인공지능의 핵심적 원리와 기술을 단순히 나열하는 것이 아니라 시대별로 구분된 100개의 주제와 그림을 통해 직관적으로 이해할 수 있도록 구성하였습니다. 복잡한 수식이나 알고리즘 때문에 인공지능 학습에 두려움을 느꼈던 독자라면 이번 도서가 한 걸음 더 나아갈 수 있는 디딤돌이 될 것입니다.

작가정보

저자(글) 추형석

▶ 저자 추 형 석(신구대학교 AI 소프트웨어학과 교수)
[경력]
ㆍ국가수리과학연구소 박사후 연구원(2013~2015)
ㆍ소프트웨어정책연구소 선임연구원(2015~2023)

[주요 업적]
ㆍ서울신문 IT 신트렌드 정기 기고(2016~2019)
ㆍ정보통신기획평가원 인공지능 분야 R&D 과제기획위원(2019)
ㆍ행정안전부 정부혁신 컨설팅단 위원(2020, 2021)

[주요 업무]
ㆍ인공지능 분야의 최신 기술 동향을 분석
ㆍ인공지능 R&D 기획, 인공지능 인재 양성, 인공지능 컴퓨팅 인프라 구축 등 인공지능 관련 정책 연구

작가의 말

트랜스포머의 출현은 자연어 처리(NLP)와 생성형 인공지능(Generative AI)의 패러다임을 바꾸어 놓았고, 이를 기반으로 탄생한 GPT, BERT, DALL-E와 같은 모델들은 이제 우리의 일상과 산업을 혁신하고 있습니다. 이렇듯 트랜스포머는 하나의 딥러닝 모델을 넘어선 패러다임의 전환을 상징합니다. 과거 순환신경망(RNN)과 장단기기억(LSTM)이 시간적 의존성을 극복하지 못하고 한계를 드러냈을 때 트랜스포머는 “Attention is all you need”라는 논문을 통해 이러한 한계를 극복했습니다. 그 결과 트랜스포머는 기계 번역뿐만 아니라 언어 이해, 대화 시스템, 텍스트 생성 등 다양한 분야에 활용되며 자연어 처리의 새로운 표준이 되었습니다. 이후 사전 학습 언어 모델(PLM)과 거대 언어 모델(LLM)의 확장은 트랜스포머의 가능성을 증명하면서 인공지능의 역사를 다시 쓰고 있습니다. 인공지능의 미래는 우리가 어떻게 학습하고 활용하느냐에 달려 있습니다. 이제, 그 여정을 함께 시작해 봅시다.

목차

• 제1장 인공지능의 혁신 트랜스포머
  01 트랜스포머가 바꾼 인공지능
  02 트랜스포머의 개념적 이해
  03 언어 모델의 이해
  04 언어 모델과 데이터
  05 언어 모델 구현 방법의 변화
  06 사전 학습 언어 모델
  07 거대 언어 모델
  08 기반 모델과 생성형 인공지능
  
  제2장 트랜스포머의 구조와 분석
  01 딥러닝과 트랜스포머
  02 인공지능 모델의 트랜스포머
  03 트랜스포머의 구조
  04 트랜스포머의 입력 - 토큰화
  05 트랜스포머의 입력 - 토큰간 관계 설정
  06 원 핫 인코딩과 토큰 임베딩(CBOW)
  07 토큰 임베딩과 토큰 임베딩 차원
  08 위치 인코딩 - 토큰의 위치와 접근법
  09 위치 인코딩 - 토큰 임베딩 벡터
  10 트랜스포머의 인코더
  11 멀티헤드 어텐션의 입력과 쿼리
  12 멀티헤드 어텐션의 키와 점곱 어텐션
  13 멀티헤드 어텐션의 가치와 어텐션 헤드
  14 정규화와 앞먹임신경망
  15 셀프 어텐션
  16 인코더의 반복과 초모수
  17 트랜스포머의 디코더
  18 트랜스포머의 인코더와 디코더 결합
  19 트랜스포머의 출력
  
  제3장 사전 학습 언어 모델
  01 사전 학습 언어 모델의 개요
  02 사전 학습 언어 모델의 접근 방법
  03 다양한 자연어 처리 과업
  04 전형적인 자연어 처리 과업
  05 BERT의 구조와 특징
  06 OpenAI의 GPT 구조
  07 GPT-2의 개념과 구조
  08 RoBERTa의 성능과 구조
  09 ALBERT의 접근과 구조
  10 DistilBERT의 접근과 성능
  11 MobileBERT의 개념과 특징
  12 SpanBERT의 개념과 특징
  13 ELECTRA의 개념과 활용
  14 DeBERTa의 개념과 기능
  15 TransformerXL의 등장과 성능
  16 XLNet의 개념과 성능
  17 BART의 개념과 특징
  18 CTRL의 개념과 특징
  19 T5의 구조와 성능
  20 HuggingFace와 Transformers
  
  제4장 거대 언어 모델
  01 거대 언어 모델의 개요
  02 거대 언어 모델의 규모
  03 거대 언어 모델의 구조
  04 거대 언어 모델의 특징과 재학습 방법
  05 거대 언어 모델의 한계
  06 계산적 관점에서의 딥러닝
  07 행렬곱 연산
  08 거대 언어 모델의 계산량과 효과
  09 거대 언어 모델의 활용
  10 GPT-3의 구조와 성능
  11 LaMDA의 구조와 특징
  12 MT NLG의 개념과 성능
  13 Gopher의 등장과 접근법
  14 InstructGPT의 접근법과 특징
  15 PanGu 알파의 배경과 특징
  16 PaLM의 개념과 특징
  17 OPT 175B의 시작과 특징
  18 BLOOM의 배경과 특징
  19 HyperCLOVA의 개념과 특징
  20 규모 경쟁과 ChatGPT의 등장
  
  제5장 ChatGPT와 생성 인공지능
  01 ChatGPT의 성공과 변화
  02 ChatGPT의 효과와 계산량
  03 ChatGPT 이후의 인공지능
  04 환각 효과 완화의 기본적 접근
  05 설명 가능한 인공지능과 거대 언어 모델
  06 모델 경량화의 기본적 접근
  07 모델 경량화와 하드웨어
  08 트랜스포머의 기본적 접근
  09 RWKV의 개념과 구조
  10 Retentive Network의 접근과 특징
  11 거대 테크 기업의 움직임
  12 GPT-4의 배경과 특징
  13 GPT-4 Turbo와 GPT-4o의 특징
  14 GPT-o1과 GPT-5의 특징
  15 OpenAI의 GPT 스토어
  16 Bard의 특징과 기능
  17 PaLM 2의 규모와 특징
  18 Gemini의 등장과 특징
  19 Copilot의 등장과 특징
  20 Claude의 개발과 특징
  21 소규모 거대 언어 모델의 등장
  22 LLaMA의 특징과 구조
  23 LLaMA 2와 LLaMA 3의 성능
  24 Gemma의 특징과 기능
  25 Mistral AI의 등장과 특징
  26 phi의 특징과 기능
  27 한국의 sLLM과 Solar
  28 대화형 인공지능과 sLLM 활용 도구
  29 인공지능의 기술적 미래 전망
  30 인공지능의 플랫폼 미래 전망
  31 인공지능의 규제 전망
  32 인공지능의 정책 전망
  33 범용 인공지능의 미래 전망

출판사 서평

이 책은 단순히 트랜스포머를 설명하는데 그치지 않습니다. 트랜스포머의 등장 이후 인공지능은 생성형 AI라는 새로운 시대를 맞이하게 되었고, 플랫폼과 오픈 소스를 통해 개발의 진입장벽이 현저하게 낮아지고 있습니다. 특히, 생성형 AI를 언어 모델의 관점에서 집중적으로 분석하여 글로벌 빅테크 기업의 경쟁 구도를 설명합니다. 또한, 누구나 쉽게 노트북에서도 실행해 볼 수 있는 사전 학습 언어 모델과 sLLM 실습도 영상으로 담아 실제 인공지능을 활용해 볼 수 있는 기회도 제공합니다. 이 책이 트랜스포머와 생성형 인공지능의 세계를 탐구하고자 하는 학생, 연구자, 실무자 모두에게 의미 있는 지침서가 되기를 바랍니다. AI 기술의 발전 속도는 놀라울 정도로 빠릅니다. 하지만 그 혁신의 중심에는 언제나 트랜스포머가 있었고, 앞으로도 있을 것으로 전망합니다.

기본정보

ISBN	9791198685339
발행(출시)일자	2025년 01월 10일
쪽수	220쪽
크기	189 * 240 * 16 mm / 577 g
총권수	1권

Klover 리뷰 (4)

[ps*******]

쉽고 좋네요 마음에 들어요!