モダンTransformer　モデルの内部構造から、マルチモーダル／RAG／SLMの実装と最適化まで

LLM/エージェントの基盤技術を習得できる！ 実プロジェクトで使いこなすための モデルの構造からコーディングの実践まで。 本書では、現代的なTransformerモデルの内部構造から、コードを交えた実践テクニックまでを解説。Transformerモデルを実際のプロジェクトで使いこなすための確固たる基盤技術を習得したい方に格好の一冊です。 取り上げるモデルは、Llama 4/Gemma 3世代を中心に、言語を含むマルチモーダルに対応したものであり、Gemma 4についても説明を補足しています。また、Hugging FaceやvLLMのライブラリ等を使った実際のコード例を交えて解説。主要なテーマは次のとおりです。 ◆Transformerモデルの基礎◆Transformerがなぜそのように設計されているのか、そしてどのように機能するのかを学びます。また、エンコーダースタックとデコーダースタックを含む完全なアーキテクチャを探求します。 ◆生成系モデルのバリエーションと高度化◆デコーダーのみ、エンコーダーのみ、Mixture-of-Expertsなど、アーキテクチャの主要なバリエーションについて説明した後、テキスト生成戦略とプロンプト技術のパターンといったLLMの推論能力を高度化していく手法を取り上げます。 ◆生成系モデルによるシステム◆人間の好みに合わせる選好アライメント、そして検索拡張生成（RAG）などにフォーカスしたシステム構築手法を示します。 ◆マルチモーダルと小規模言語モデル◆マルチモーダルモデルを支える中核技術のほか、マルチモーダルRAGについて説明。また、SLM（小規模言語モデル）についてファインチューニングのケーススタディを解説し、エージェントとしてどのように機能するかも示します。 ◆LLMの活用◆LLMのトレーニング、QLoRAなどのファインチューニング、評価手法を取り上げます。その後、枝刈り、蒸留、推論の最適化、FlashAttentionなど、最適化とスケーリングについて探索します。最後に、バイアス検出、透明性と説明性のツールといった倫理・責任あるAIへの手法を説明します。 ※本書は『Transformers in Action』（Manning Publications）の翻訳書です。 ■本書の構成 ◆Part1 現代のTransformerモデルの基礎 第1章 Transformerはなぜ必要か 第2章 詳解Transformer ◆Part2 生成系Transformer 第3章 モデルファミリとアーキテクチャのバリエーション 第4章 テキスト生成戦略とプロンプティングテクニック 第5章 選好アライメントとRAG ◆Part3 専門化されたモデル 第6章 マルチモーダルモデル 第7章 効率的な特化型SLM 第8章 LLMの訓練と評価 第9章 LLMの最適化とスケーリング 第10章 倫理的かつ責任あるLLM