E資格 教科書

ニューラルネットの順伝播は、本質的には 行列とベクトルの掛け算 + 非線形変換 の繰り返しです。E 資格では特に、テンソル(3 次元以上の配列)としてのデータ表現、固有値分解・特異値分解(SVD)が頻出します。

ベクトル・行列・テンソル

重要な行列演算

• 転置 $A^{\top }$: 行と列を入れ替える
• 内積 ${\mathbf{a}}^{\top }\mathbf{b}$: スカラーが返る、両者の類似度
• 行列積 $AB$: $A$ の列数 = $B$ の行数
• 逆行列 $A^{-1}$: $A{A}^{-1}=I$、正方行列でランクが満ちている場合のみ
• トレース $\mathrm{tr}(A)={\sum }_i{A}_{ii}$: 対角和、固有値の和に等しい

固有値分解と SVD

DL の学習は 勾配を使った最小化 です。本節では、E 資格で必要な多変数微分・連鎖律・ヤコビアン / ヘッセ行列を整理します。

偏微分と勾配ベクトル

連鎖律(チェーンルール)

ヘッセ行列と 2 階情報

DL の損失関数は確率と情報理論の言葉で書かれます。エントロピー・KL ダイバージェンス・交差エントロピーは特に重要です。

エントロピー

KL ダイバージェンスと交差エントロピー

import torch
import torch.nn.functional as F

# モデル出力 (logits) と正解ラベル
logits = torch.randn(8, 10)        # batch=8, クラス数=10
labels = torch.randint(0, 10, (8,))

# softmax + log + NLL を一発で
loss = F.cross_entropy(logits, labels)

# logits が確率(softmax 済み)なら nll_loss を使う
log_probs = F.log_softmax(logits, dim=-1)
loss2 = F.nll_loss(log_probs, labels)

機械学習を 1 文で言うと『データから関数を学習する』こと。本節ではその基本枠組みと、過学習・汎化・バイアスバリアンスといったコア概念を整理します。

教師あり / なし / 強化学習

• 教師あり: ラベル付きデータから入力 → 出力の関数を学ぶ。回帰・分類
• 教師なし: ラベルなしデータから構造を発見。クラスタリング・次元削減・密度推定
• 強化学習: 報酬を最大化する行動方策を試行錯誤で学ぶ

汎化誤差とバイアス・バリアンス分解

正則化

交差検証(CV)

データを K 分割し、各部分をテスト用に回しながら平均性能を評価する。K=5 か 10 が典型的。少データでの汎化性能評価の標準。

from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LogisticRegression

scores = cross_val_score(
    LogisticRegression(max_iter=1000),
    X, y, cv=5, scoring="accuracy"
)
print(f"{scores.mean():.3f} ± {scores.std():.3f}")

DL 以前の機械学習で確立した 古典的な手法 も E 資格では出題されます。本節で網羅的に押さえましょう。

回帰

• 線形回帰: 損失 = 残差の 2 乗和、解は閉じた形(正規方程式)
• リッジ回帰: L2 正則化付き。多重共線性に強い
• ラッソ回帰: L1 正則化付き。特徴選択を自動で行う
• Elastic Net: L1 + L2 の組合せ

分類

• ロジスティック回帰: 線形 + ロジット。確率出力で二値・多クラス対応
• SVM: マージン最大化。カーネルトリックで非線形に拡張可
• 決定木: 再帰的にデータを分割。解釈しやすいが過学習しやすい
• ランダムフォレスト: 多数決アンサンブル。バリアンスを下げる
• 勾配ブースティング(XGBoost / LightGBM): 弱学習器を逐次的に追加。実務でも DL に並ぶ強力さ
• k-近傍法 (k-NN): 最も近い k 個の近傍で投票。シンプル・高次元で性能低下
• ナイーブベイズ: 特徴間の条件付き独立を仮定。テキスト分類で高速

教師なし

• k-means: WCSS 最小化。クラスタ数を事前に指定
• 階層的クラスタリング: デンドログラムで樹形図
• PCA: 共分散行列の固有値分解で次元削減
• t-SNE / UMAP: 高次元の可視化に特化した非線形次元削減

ニューラルネットの基本単位は パーセプトロン(線形変換 + 活性化関数)。これを多層に積み重ねたものが多層パーセプトロン(MLP)、さらに発展させたのがディープラーニングです。

順伝播の数式

$L$ 層のネットワークでは、これを順次適用: $\mathbf{x}\to {\mathbf{a}}^{(1)}\to {\mathbf{a}}^{(2)}\to \cdots \to {\mathbf{a}}^{(L)}=\hat{\mathbf{y}}$。

活性化関数の種類と特徴

• Sigmoid $\sigma (z)=1/(1+e^{-z})$: 出力 (0,1)。確率に解釈可能。深い層で勾配消失
• Tanh: 出力 (-1,1)。Sigmoid より中心化されているがやはり勾配消失
• ReLU $\max (0,z)$: 正の領域で勾配 1。深層 NN で標準。負側で死ぬ問題(dying ReLU)
• Leaky ReLU: 負側に小さな傾き。dying ReLU 緩和
• Softmax: 多クラス分類の出力層。$\sigma (z{)}_i=e^{z_i}/{\sum }_j{e}^{z_j}$
• GELU / Swish: Transformer 系で使われる滑らか活性化

損失関数

• MSE(平均 2 乗誤差): 回帰の標準。$\frac{1}{n}\sum (y_i-{\hat{y}}_i{)}^2$
• 交差エントロピー: 分類の標準。Softmax と組合せる
• Huber 損失: MSE と MAE のハイブリッド。外れ値に頑健
• Hinge 損失: SVM や一部の DL モデル

誤差逆伝播法(backpropagation)は、損失関数の 重みに対する勾配 を効率的に計算するアルゴリズムです。連鎖律を機械的に適用するだけ ─ ですが、それゆえに任意のネットワーク構造で動きます。

逆伝播のアルゴリズム

1. 順伝播: 入力から出力まで計算し、各層の中間変数(pre-activation ${\mathbf{z}}^{(l)}$、activation ${\mathbf{a}}^{(l)}$)を保存する
2. 出力層の誤差: ${\delta }^{(L)}={\nabla }_{{\mathbf{a}}^{(L)}}L\odot {\sigma }^{\prime }({\mathbf{z}}^{(L)})$
3. 逆伝播: ${\delta }^{(l)}=(W^{(l+1)\top }{\delta }^{(l+1)})\odot {\sigma }^{\prime }({\mathbf{z}}^{(l)})$ を逆順に伝える
4. 重みの勾配: $\frac{\partial L}{\partial W^{(l)}}={\delta }^{(l)}({\mathbf{a}}^{(l-1)}{)}^{\top }$

勾配消失・勾配爆発

勾配消失: 深い層で勾配が指数的に小さくなる(Sigmoid/Tanh の微分が 1 未満)。勾配爆発: 逆に大きくなる。対策として ReLU・バッチ正規化・残差接続(ResNet)・勾配クリッピングが標準的。

import torch
import torch.nn as nn

# 簡単な MLP
model = nn.Sequential(
    nn.Linear(784, 256), nn.ReLU(),
    nn.Linear(256, 10)
)
loss_fn = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)

# 1 ステップの学習
x, y = torch.randn(64, 784), torch.randint(0, 10, (64,))
optimizer.zero_grad()
logits = model(x)
loss = loss_fn(logits, y)
loss.backward()                # 逆伝播 — 全勾配を自動計算
optimizer.step()

勾配が分かったら どう動かすか が最適化アルゴリズムの仕事。E 資格では SGD・Momentum・AdaGrad・RMSProp・Adam の特徴と更新式を押さえます。

確率的勾配降下法 (SGD)

Momentum と Nesterov

適応的学習率(AdaGrad / RMSProp / Adam)

学習率スケジューリング

• Step decay: エポックごとに学習率を 1/10 などに下げる
• Cosine annealing: コサイン関数で滑らかに下げる。Transformer 学習でデファクト
• Warmup: 学習初期に学習率を徐々に上げる。大規模学習で安定化
• Adam の派生(AdamW): 重み減衰の扱いを修正したバージョン

CNN(Convolutional Neural Network) は画像処理で革命を起こしたアーキテクチャです。画像の 局所性 と 平行移動不変性 を活かす設計が特徴。

畳み込み層

• ストライド: スライドの間隔。ストライド=2 で出力サイズ半分
• パディング: 入力周囲をゼロで埋める。`same` で入出力サイズを保つ
• カーネルサイズ: 3×3 が最も一般的(VGG 以降)。1×1 はチャンネル次元の変換

プーリング層

領域ごとに最大値(Max pooling)または平均(Average pooling)を取る操作。ダウンサンプリング + 位置のずれへの頑健性 を獲得する。Max pooling が一般的。

代表的アーキテクチャ

• LeNet (1998): 手書き数字認識の元祖。2 conv + 2 FC
• AlexNet (2012): ImageNet 革命。ReLU + Dropout を採用
• VGG (2014): 小さい 3×3 カーネルを多層に積む。シンプルで強力
• ResNet (2015): 残差接続で 152 層まで深化。ImageNet 優勝
• EfficientNet: 幅・深さ・解像度のバランスを自動探索
• Vision Transformer (ViT): CNN に代わって Transformer を画像に適用

系列データ(文章・音声・時系列)を扱うのが RNN(Recurrent Neural Network) とその発展形 LSTM・GRU。Transformer の登場後も基礎として重要です。

基本 RNN

課題: 長期依存性が学習できない。系列が長くなると勾配が消失または爆発する(BPTT、Backpropagation Through Time)。

LSTM(Long Short-Term Memory)

GRU(Gated Recurrent Unit)

LSTM のゲートを 3 つから 2 つ(更新ゲート + リセットゲート)に簡略化したモデル。LSTM とほぼ同等の性能をより少ないパラメータで実現。

Encoder-Decoder と Attention

機械翻訳のような 系列 → 系列 変換では、Encoder で入力系列を 1 つの固定長ベクトルに圧縮し、Decoder が出力系列を生成する Encoder-Decoder 構造が標準でした。しかし長い系列で性能が落ちる問題があり、Attention 機構(Decoder が Encoder の各時刻に重み付きでアクセス)で大きく改善 ─ これが Transformer への布石になります。

Transformer(2017、論文「Attention Is All You Need」)は、RNN の再帰構造を捨て、Attention 機構のみ で系列処理を行う革命的アーキテクチャ。BERT・GPT などの大規模言語モデル(LLM)の基盤です。

Self-Attention

Multi-Head Attention

Self-Attention を 複数並列に実行(各 head が異なるパターンを学習)し、結果を結合する。8 head が標準。これにより『意味的関係』『構文的関係』『位置的関係』など、異なるタイプの依存を同時に捉えられる。

位置エンコーディング

Transformer は系列順序の情報を持たないので、位置エンコーディング(sin/cos の周期関数または学習可能なベクトル)を入力に加える。これで「単語の順序」が認識できるようになる。

BERT と GPT

• BERT(2018, Google): Encoder のみ。マスクされた単語を予測する事前学習(MLM)→ ファインチューニングで分類・抽出に使う
• GPT(2018-, OpenAI): Decoder のみ。次の単語を予測する自己回帰モデル → 文章生成・対話に
• T5 / BART: Encoder-Decoder。翻訳・要約に強い

from transformers import AutoTokenizer, AutoModel
import torch

# 事前学習済みモデルをロード
tokenizer = AutoTokenizer.from_pretrained("bert-base-japanese")
model = AutoModel.from_pretrained("bert-base-japanese")

# 文を埋め込みベクトルに
inputs = tokenizer("統計検定の勉強をしています。", return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)
embeddings = outputs.last_hidden_state    # (1, seq_len, 768)

強化学習(Reinforcement Learning, RL)は、エージェントが環境と相互作用し、報酬を最大化する行動方策を学ぶ枠組み。AlphaGo / AlphaFold / ChatGPT の RLHF など、近年の大型成果の背後にあります。

MDP(マルコフ決定過程)

Q 学習

DQN(Deep Q-Network)

Q 関数をニューラルネットで近似する。経験再生(Replay Buffer) + ターゲットネットワーク が学習安定化のキー。Atari ゲームで人間レベル以上の性能を達成(2013, DeepMind)。

方策勾配法(Policy Gradient)

方策 ${\pi }_{\theta }(a|s)$ を直接ニューラルネットで表現し、報酬期待値を最大化する勾配降下を行う。REINFORCE → A2C → PPO と発展してきた。連続行動空間でも扱える点が Q 学習との大きな差。

生成モデル(Generative Model)は、データの確率分布を学習し、そこから新しいサンプルを生成する。画像生成・音声合成・分子設計などに応用。

VAE(Variational Autoencoder)

GAN(Generative Adversarial Network)

拡散モデル(Diffusion Model)

現代の画像生成 AI(Stable Diffusion・DALL-E 3・Midjourney)の中核。 学習: ノイズを徐々に加えて完全なノイズにする過程の逆を学習。生成: ガウス乱数から徐々にノイズを除去して画像を生成。GAN より学習が安定で、生成品質も高い。

• DDPM (2020): 拡散モデルの基礎論文
• Stable Diffusion (2022): 潜在空間で拡散することで高速化
• ControlNet: 条件付き生成(姿勢・線画など)

Transformer の登場で NLP は大きく変わりました。E 資格では基礎技術と現代手法の両方が問われます。

前処理

• 形態素解析: 日本語特有。MeCab・Sudachi が標準
• トークン化: 単語分割。サブワード(BPE・WordPiece・SentencePiece)が現代の標準
• 正規化: 全角半角変換・大文字小文字統一など

単語埋め込み(Word Embedding)

• Word2Vec (2013): 単語をベクトルに。CBOW・Skip-gram
• GloVe: 共起行列の分解
• fastText: サブワードを考慮した Word2Vec の拡張
• Contextual Embedding(ELMo / BERT): 同じ単語でも文脈で意味が変わる

代表的な NLP タスク

• 分類(感情分析・スパム判定): BERT で文を埋め込み → 線形層
• 固有表現認識(NER): 人名・地名・組織を抽出
• 機械翻訳: Transformer の Encoder-Decoder で(現代では LLM ベース)
• 質問応答: 文書と質問から答えを抽出 / 生成
• 要約: 抽出型 / 生成型

DL モデルの実装には TensorFlow と PyTorch が二大勢力。研究では PyTorch、本番デプロイでは TensorFlow が伝統的に強い構図でしたが、近年は PyTorch が両領域を席巻しています。

主要フレームワーク

• PyTorch: Facebook(Meta)発。動的計算グラフ・直感的 API。研究・実務とも主流
• TensorFlow / Keras: Google 発。静的計算グラフ → 2.x で eager mode が標準に。本番デプロイで強い
• JAX: Google 発の関数型自動微分ライブラリ。GPU/TPU 並列に強み
• Hugging Face Transformers: 事前学習モデルの hub。ほぼ全 LLM の標準入口

モデル軽量化技術

• プルーニング(Pruning): 重要度の低い重みをゼロにし、モデルを疎にする
• 量子化(Quantization): 32 ビット浮動小数を 8 ビット整数に変換。サイズ 1/4・速度 2〜4 倍。実務でデファクト
• 蒸留(Knowledge Distillation): 大きい『教師モデル』の出力を学習目標として、小さい『生徒モデル』を学習。BERT → DistilBERT が代表例
• Mixed Precision Training: 学習時に float16 / float32 を混在 → 学習速度 2 倍

分散学習

• データ並列: 複数 GPU でバッチを分割。標準的
• モデル並列: モデル自体を分割。LLM のような巨大モデルで必須
• Pipeline 並列: モデルを層単位で分散
• ZeRO (DeepSpeed): 最適化状態・勾配・パラメータを分散して大規模化

DL の学習は『何を試すか』のセンスが結果を大きく左右します。E 資格でも頻出のテクニックをまとめます。

正則化技術

• Dropout: 学習時にニューロンを確率 $p$(典型的に 0.5)で無効化。アンサンブル効果
• バッチ正規化(BatchNorm): 層の出力をバッチごとに平均 0・分散 1 に正規化 → 線形変換。学習安定化と高速化
• Layer Normalization: BatchNorm のバッチ依存性を消したもの。Transformer で標準
• Weight Decay: 重み減衰 = L2 正則化。AdamW では正しく扱われる
• Early Stopping: 検証誤差が悪化し始めたら学習を止める
• データ拡張(Data Augmentation): 画像なら回転・反転・色変換。MixUp・CutMix などモダン手法も

重みの初期化

• Xavier(Glorot)初期化: tanh / sigmoid 用。$\mathrm{Var}=2/(n_{in}+n_{out})$
• He 初期化: ReLU 用。$\mathrm{Var}=2/n_{in}$
• 事前学習モデルからの転移: 多くの場合これがベスト

ハイパーパラメータ調整

• グリッドサーチ: 全組合せを試す。次元呪い
• ランダムサーチ: グリッドより効率的(Bergstra & Bengio 2012)
• ベイズ最適化: 過去の試行から次を賢く選ぶ。Optuna が標準
• Population Based Training (PBT): 進化的アルゴリズム

import torch
from torch.utils.data import DataLoader

model.to("cuda")
loader = DataLoader(dataset, batch_size=64, shuffle=True)
optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=1e-4)
scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=epochs)

for epoch in range(epochs):
    model.train()
    for x, y in loader:
        x, y = x.to("cuda"), y.to("cuda")
        optimizer.zero_grad()
        with torch.cuda.amp.autocast():     # Mixed Precision
            logits = model(x)
            loss = loss_fn(logits, y)
        loss.backward()
        torch.nn.utils.clip_grad_norm_(     # 勾配クリッピング
            model.parameters(), max_norm=1.0
        )
        optimizer.step()
    scheduler.step()

E 資格でも『AI を社会に実装する責任』は問われます。技術的実装と並んで、公平性・透明性・プライバシー・規制対応 がエンジニアの必須教養になっています。

AI 倫理の主要論点

• 公平性(Fairness): モデルが特定属性(性別・人種・年齢)に対して差別的でないか。Demographic Parity(各属性間で予測陽性率が等しい)・Equal Opportunity(各属性間で真陽性率が等しい)など複数の定義あり、両立は一般に不可能
• 説明可能性 (XAI): SHAP・LIME・Integrated Gradients・Grad-CAM など。医療・与信で必須
• プライバシー: 差分プライバシー(DP)・連合学習(Federated Learning)・準同型暗号
• 敵対的攻撃: 微小な摂動で誤分類を誘発(adversarial example)。実務では対敵的訓練(adversarial training)で対策
• ハルシネーション: LLM が事実でない内容を自信を持って出力する問題。RAG や Reasoning で軽減

規制と国際的潮流

• EU AI Act (2024): リスクベース規制。社会信用スコア等は禁止、医療・採用などの『高リスク AI』に厳しい義務
• 米国 NIST AI Risk Management Framework: 自主的フレームワーク
• 日本 AI 事業者ガイドライン (2024): 経産省・総務省が公表
• OECD AI 原則 (2019): 国際的な合意ベース

MLOps(機械学習の運用)

本番に乗ったあとの運用が AI プロジェクトの正念場。モデルドリフト(時間経過で精度が劣化)・データドリフト・フィードバックループ(自身の予測が将来データに影響する)を監視し、定期再学習する仕組みが必要。MLflow・Kubeflow・Weights & Biases が代表的ツール。

次の章では、E 資格の最新シラバスで重要度が増した 基盤モデル時代のファインチューニング技術と効率的アーキテクチャ に踏み込みます。

基盤モデル(GPT・Llama・Stable Diffusion など)の全パラメータを学習し直す 完全ファインチューニング は、数十 GB の VRAM と長時間の学習を要求します。PEFT (Parameter-Efficient Fine-Tuning) は、元モデルを 凍結 したまま少数のパラメータだけを学習することで、計算資源を桁違いに減らす手法群です。

LoRA(Low-Rank Adaptation)

QLoRA ─ 4-bit 量子化との組み合わせ

QLoRA (Dettmers et al. 2023) は、元モデルを 4-bit 量子化(NF4 形式)してメモリ消費を約 4 倍削減し、その上に LoRA で学習する手法。65B パラメータの Llama を 1 枚の 48GB GPU でファインチューンできるようになり、コミュニティに巨大な影響を与えました。

他の PEFT 手法

• Adapter (Houlsby et al. 2019): 各層に小さな MLP モジュール(adapter)を挿入。LoRA より歴史が長い手法
• Prefix Tuning / Prompt Tuning: 入力に学習可能な仮想トークン列を追加。さらにパラメータが少ない
• P-Tuning v2: Prompt Tuning の改良版。各層に prompt を挿入
• IA³ (Liu et al. 2022): 各層の活性化を学習可能スカラーで再スケール。極端に省メモリ
• DoRA (Liu et al. 2024): LoRA を方向と大きさに分解した改良版

比較表

事前学習だけの LLM は「もっともらしいが有用とは限らない」テキストを生成します。ChatGPT 以降の対話 AI は RLHF (Reinforcement Learning from Human Feedback) で人間の好みに合わせて調整されており、これが現代 LLM の中核技術。

RLHF の 3 ステージ

1. SFT (Supervised Fine-Tuning): 高品質な指示・応答ペアでファインチューン。指示追従の基本能力を獲得
2. Reward Model 学習: 人間が「応答 A と B のどちらが良いか」を比較ラベル付け → Bradley-Terry モデルで $r_{\theta }(x,y)$ を学習
3. RL ファインチューン: PPO で $r_{\theta }$ を最大化しつつ、KL 正則化で SFT モデルから離れすぎないよう制御

目的関数

$\beta$ は KL 正則化の強さ。大きすぎると SFT から動かない、小さすぎると報酬ハッキング(意味のない高報酬応答)が起きる、というトレードオフ。

DPO ─ RL なし RLHF

Constitutional AI

Constitutional AI (Anthropic 2022) は、人間のフィードバックを AI のフィードバック で代替する手法。事前定義した「憲法(constitution)」に基づいて AI が自己批判・修正し、その結果を学習する RLAIF (RL from AI Feedback) につながります。Claude 系モデルはこの手法で訓練。

アライメントの未解決問題

• Reward Hacking: 報酬モデルの抜け穴を突いた『高報酬だが望ましくない応答』が生成される
• Sycophancy(おべっか): ユーザーに同意するよう過度に最適化される(批判的思考の喪失)
• Mode Collapse: 多様性のある応答を生成しなくなる
• Out-of-Distribution の挙動: 学習データ分布外で予測不能になる

Transformer のスケーリングは計算コストの壁にぶつかっています。それを乗り越える 疎化アーキテクチャ・状態空間モデル・推論時計算スケーリング を学びます。

Mixture of Experts(MoE)

Mamba と状態空間モデル

Mamba (Gu & Dao 2023) は、Self-Attention の $O(n^2)$ を 線形時間 $O(n)$ に置き換える状態空間モデル(State Space Model, SSM)。長系列で Transformer を凌駕する場合があり、新世代の有力候補。

• S4 (Gu et al. 2022): 連続時間状態空間を離散化したベースライン
• Mamba (S6): 入力依存の選択的状態空間で、文脈を選択的に記憶
• Hybrid Models: Transformer と SSM を組み合わせるハイブリッド(Jamba・Striped Hyena)が登場

推論時計算スケーリング ─ o1 系モデル

OpenAI o1 (2024) と続くモデル群は、推論時に内部で長い『考える時間』を取って思考連鎖を生成 することで難問を解く新パラダイム。学習時計算ではなく 推論時計算 をスケールさせる戦略です。

効率的注意機構

• Flash Attention (Dao et al. 2022): GPU メモリ階層を意識した実装で 2〜4 倍高速化(数学的に同一)
• Multi-Query Attention (MQA): K, V を全ヘッドで共有 → KV キャッシュ削減
• Grouped-Query Attention (GQA): MQA と Multi-Head の中間。Llama 2 70B で採用
• Sliding Window Attention: 局所文脈に絞ることで長系列処理を実現(Longformer・Mistral)
• Sparse Attention: 一部の位置だけに注目(Longformer・BigBird)

テキストだけでなく 画像・音声・動画 を統合的に扱うマルチモーダルモデル、そして ツールを使って自律行動する AI エージェント が 2024 年以降の主流。

マルチモーダルモデルのアーキテクチャ

• CLIP (Radford et al. 2021): 画像とテキストを同じ埋め込み空間に投影し、対照学習で訓練。Zero-shot 画像分類が可能
• LLaVA: CLIP 視覚エンコーダ + 投影層 + LLM の組み合わせ。画像を見て対話できる
• GPT-4o / Gemini: ネイティブマルチモーダル。テキスト・画像・音声を統一トークン空間で処理
• ViT (Vision Transformer): 画像を 16×16 パッチに分割して Transformer に入力。CNN を凌ぐ性能

拡散モデルの最新動向

• Latent Diffusion (Stable Diffusion): 潜在空間で拡散することで計算量を激減
• ControlNet (Zhang et al. 2023): ポーズ・深度・線画などの条件で生成を制御
• Flow Matching / Rectified Flow: 拡散の代替。SD3 で採用
• Sora / Veo: テキスト→動画の長時間生成。空間時間 Transformer で実現

AI エージェント

MCP(Model Context Protocol)

MCP (Anthropic 2024) は AI モデルと外部ツールの接続を標準化するオープンプロトコル。USB-C のように、任意の AI クライアントが任意の MCP サーバ(ツールセット)を使えるようになる。エージェント時代の重要インフラ。

7 章のまとめ

• PEFT: LoRA・QLoRA で巨大モデルを少資源でファインチューン
• RLHF / DPO: 人間の好みに合わせる現代 LLM の中核技術
• MoE: 容量を増やしつつ計算を抑える疎化
• Mamba: Transformer の二次計算量を線形に置き換える挑戦
• 推論時計算: o1 系のテスト時計算スケーリング
• マルチモーダル+エージェント: AI のフロンティア

次の節では、E 資格 2026 シラバス改訂で重要度が増した 自己教師あり学習・能動学習・連合学習・モデル軽量化 の最新技術群を扱います。

ラベル付きデータの収集はコストが高い。自己教師あり学習(SSL) は『データ自身からラベルを作る』考え方で、近年の基盤モデル成功の中核技術。能動学習(Active Learning) は『どのデータにラベルを付けるとモデル改善に効くか』を選別する手法。両者は『ラベル不足』への 2 つの異なる回答です。

自己教師あり学習の基本パラダイム

Contrastive Learning(対照学習)

代表的 SSL 手法

• SimCLR (Chen et al. 2020): シンプルな contrastive。バッチ内の他画像を負例とする。バッチサイズの大きさが必要
• MoCo (He et al. 2020): 負例をキューで保持し、バッチサイズに依存しない設計
• BYOL (Grill et al. 2020): 負例を使わず、ターゲットネットワーク(EMA)とオンラインネットワークの予測一致を学習
• MAE (He et al. 2021): 画像の 75% をマスクして再構成。ViT との相性が良い
• DINO / DINOv2 (Caron et al. 2021/2023): 自己蒸留型 SSL。教師なしでセグメンテーション特徴を獲得
• CLIP: 画像-テキストペアでの contrastive。テキスト記述から画像を識別

能動学習(Active Learning)

獲得関数(Acquisition Function)

• Uncertainty Sampling: モデルが最も自信のないサンプルを選ぶ。$1-{\max }_{y}P(y\mid x)$、エントロピー、margin など
• Bayesian Active Learning by Disagreement (BALD): モデルパラメータの不確実性が大きいサンプルを選ぶ。Dropout や Deep Ensemble で予測分散を測る
• Query-by-Committee: 複数モデルで予測を取り、不一致の大きいサンプルを選ぶ
• Expected Model Change: パラメータ更新の大きさが大きくなりそうなサンプルを優先
• Diversity Sampling: バッチ単位で多様性も考慮(BatchBALD など)

半教師あり学習との関係

ラベル少量・ラベルなし大量の状況では、半教師あり学習(Semi-Supervised Learning) も有力。代表手法に FixMatch・MixMatch・Pseudo-Labeling・Consistency Regularization など。SSL → ファインチューンは半教師ありの一形態と捉えられます。

医療データ・モバイルデータ・金融データなど、集中化できない データでモデルを学習したい場面が増えています。連合学習(Federated Learning, FL) は、データを動かさずにモデル更新だけを共有して中央モデルを改善する分散学習パラダイム。E 資格 2026 シラバスで新規追加された重要トピックです。

連合学習の基本フロー

クロスデバイス vs クロスサイロ

• クロスデバイス連合学習: 数百万のスマートフォン・IoT デバイスが参加。各デバイスのデータは小規模、参加は不安定。Google Gboard のキーボード予測・Apple の Siri パーソナライゼーションが実例
• クロスサイロ連合学習: 数〜数十の組織(病院・銀行・メーカー)が参加。各組織のデータは大規模、参加は安定。医療画像診断・金融不正検知などで実用化

連合学習の主要課題

• Non-IID データ: クライアント間でデータ分布が大きく異なる。FedProx・SCAFFOLD・FedNova などが対策
• 通信コスト: モデル更新の送受信が高コスト。圧縮(量子化・スパース化)、低頻度更新で対応
• プライバシー: モデル更新からも学習データが推測されうる(Membership Inference Attack)。差分プライバシー(DP-SGD)・セキュア集約(Secure Aggregation)で防御
• クライアント参加の不均衡: スマホは充電中・WiFi 接続中しか参加しないなど、参加バイアスが発生

プライバシー保護学習の関連技術

• 差分プライバシー(Differential Privacy): 学習や集約時にノイズを加え、個別データの影響を数学的に制限。$(ϵ,\delta )$-DP
• 準同型暗号(HE): 暗号化されたまま計算ができる暗号方式。連合学習の集約段階で個別更新を秘匿
• セキュアマルチパーティ計算(MPC): 複数当事者が秘密入力を持ち寄って計算結果のみを得る暗号プロトコル
• Trusted Execution Environment (TEE): Intel SGX・AMD SEV のようなハードウェアベースの安全領域

実装フレームワーク

• TensorFlow Federated (TFF): Google 製。クロスデバイスシミュレーションが得意
• Flower: フレームワーク非依存(PyTorch・TensorFlow・JAX 対応)、本番デプロイ志向
• FATE: WeBank 主導、エンタープライズ向け
• OpenFL: Intel 主導、医療画像連合学習で多用
• NVIDIA FLARE: GPU クラスタ間の連合学習を最適化

巨大化する基盤モデルを 推論時にも巨大なまま 動かすのはコスト的に厳しい。E 資格 2026 シラバスで詳細化された 量子化・プルーニング・知識蒸留 の 3 大軽量化手法を整理します。

量子化(Quantization)

PTQ vs QAT

• Post-Training Quantization (PTQ): 学習後のモデルにそのまま量子化を適用。安価だが精度低下が出やすい。代表: GPTQ・AWQ
• Quantization-Aware Training (QAT): 学習中に量子化を模倣して『量子化に強い重み』を学習。精度低下が少ないが学習コスト増
• Mixed Precision: 重要な層は高精度(FP16)、それ以外は低精度(INT8)で混在させる
• FP4 / NF4: 4 bit 量子化の代表。QLoRA で採用される NF4 は正規分布想定で量子化精度が高い

プルーニング(Pruning)

知識蒸留(Knowledge Distillation)

DistilBERT・TinyBERT などの実例

• DistilBERT (Sanh et al. 2019): BERT-base を蒸留して 40% 軽量・60% 高速、性能 97% 維持
• TinyBERT (Jiao et al. 2020): 中間層の Attention や隠れ状態も模倣する 2 段階蒸留
• MobileBERT: モバイル向けに最適化された蒸留 BERT
• Llama Guard 3 → Llama Guard 3 1B: 大規模 Llama Guard を 1B に蒸留して安全分類器を軽量化(2024)

3 手法の組み合わせ

実務では 蒸留 + 量子化 + プルーニング を組み合わせるのが定石。例えば BERT → DistilBERT(蒸留) → INT8 量子化(QAT) → 構造化プルーニング(ヘッド削減)で 10〜20 倍の効率化が可能。さらに コンパイル(TensorRT・TVM) で GPU/エッジ向けに最適化します。

7 章のまとめ(改訂版)

• PEFT: LoRA・QLoRA で巨大モデルを少資源でファインチューン
• RLHF / DPO: 人間の好みに合わせる現代 LLM の中核技術
• MoE / Mamba / 推論時計算: Transformer の進化形
• マルチモーダル + エージェント: AI のフロンティア
• 自己教師あり学習(SSL)+ 能動学習: ラベル不足への 2 つの解
• 連合学習: データを動かさずに学ぶ分散学習
• 量子化・プルーニング・蒸留: 巨大モデルを実用可能にする軽量化

ここまで 7 章で E 資格の主要範囲を扱いました。続く 8-10 章では 強化学習・マルチモーダル AI・MLOps とスケーリング の最新トピックに踏み込みます。

強化学習(Reinforcement Learning, RL) は『試行錯誤で最適な行動戦略を学ぶ』機械学習の枠組み。基礎は マルコフ決定過程(MDP)。

MDP の 5 要素と Bellman 方程式

$Q$ ベースは 離散行動向き、連続行動空間(ロボティクス・自動運転)には 方策を直接学習する Policy Gradient が有効。

方策勾配定理と Actor-Critic

RLHF(人間フィードバックによる強化学習)

オフライン RL は『新規探索なしで既存ログから学習』する設定。実世界で安全な学習が可能になる現代の重要トピック。

オフライン RL の課題と手法

• 分布シフト: 学習方策が訓練データから外れた状態を訪問
• 外挿エラー: $Q$ 関数が未観測領域で過大評価
• Conservative Q-Learning(CQL): 未観測行動の Q を抑え込む正則化
• Behavior Regularization: 学習方策を訓練データの方策に近づける
• IQL(Implicit Q-Learning): 暗黙的に最適 Q を推定

モデルベース RL

環境モデル $\hat{P},\hat{R}$ を学習 してから方策最適化。サンプル効率が高い。MuZero(DeepMind 2020)は学習した環境モデル + MCTS で囲碁・Atari で SOTA。Dreamer 系も発展中。

• ロボティクス: 把持・歩行・操作の方策学習
• ゲーム AI: AlphaGo / AlphaZero / AlphaStar
• 広告・推薦: 多腕バンディット拡張
• 化学・創薬: 分子設計の方策最適化
• 自動運転: シミュレータ + 実車両のハイブリッド
• LLM の生成戦略: RLHF・DPO・GRPO

画像認識は CNN の独壇場でしたが、Vision Transformer(ViT, Dosovitskiy et al. 2020)が登場し、画像をパッチ列としてトランスフォーマーで処理 する手法が標準化されました。

ViT のアーキテクチャ

CLIP ─ 画像とテキストの結合学習

• ゼロショット画像分類: クラス名を文章にして埋め込み、画像との類似度で分類
• 画像検索: 自然言語クエリ → 関連画像
• テキストから画像生成: DALL-E・Stable Diffusion の条件付け
• 動画理解: フレーム単位の意味理解

拡散モデル(Diffusion Model) は、現代の画像生成 AI の主流。GAN を上回る品質と安定性で、Stable Diffusion・DALL-E 3・Midjourney・Imagen すべての裏側で動いています。

拡散プロセス

DDPM の損失関数

Latent Diffusion(Stable Diffusion)

高解像度画像で拡散を直接行うと計算が重い → VAE で潜在空間に圧縮してから拡散(Rombach et al. 2022)。これが Stable Diffusion の中核技術で、消費者 GPU で動く生成 AI を実現。

Vision-Language Model(VLM) は画像理解と自然言語生成を統合した大規模モデル。GPT-4V・Gemini・Claude 3.5/3.7 Sonnet など現代の主要 LLM はすべて VLM。

VLM のアーキテクチャ

• Vision Encoder: ViT / CLIP-ViT で画像を埋め込み
• Connector: 画像埋め込みを LLM の入力空間にマッピング
• LLM: テキスト + 画像トークンを統合的に処理
• 学習: 画像 + テキストペアで指示追従学習(visual instruction tuning)

代表的な VLM

• LLaVA(2023): オープンソース VLM のパイオニア
• GPT-4V / GPT-4o: 商用最先端、音声も統合
• Gemini 1.5 / 2.0: 100 万トークン文脈で長動画も理解
• Claude 3.5 / 3.7 Sonnet: コーディング統合に強い
• Qwen-VL / InternVL: 中国オープンソース系の発展

Embodied AI と VLA モデル

• MMMU: 大学院レベルの画像 + 質問
• MathVista: 視覚的数学問題
• ChartQA / DocVQA: グラフ・文書理解
• VLM の課題: ハルシネーション・物体錯視

MLOps は DevOps + 機械学習特有の課題 を統合した運用方法論。コードだけでなく モデル + データ + 環境 を管理する必要があります。

MLOps の主要要素

• Experiment Tracking: MLflow / W&B で学習履歴を管理
• Model Registry: 学習済みモデルのバージョン管理
• Feature Store: 特徴量の再利用・整合性確保(Feast / Tecton)
• CI/CD for ML: コード + データ + モデルのテスト自動化
• Monitoring: 本番モデルの性能・データドリフト監視
• Reproducibility: シード固定・コンテナ化・データバージョニング(DVC)

データ・モデルドリフトの監視

GPT-4 クラスのモデル(数千億〜数兆パラメータ)は、単一 GPU では学習不可能。分散学習の知識 が現代 AI エンジニアの必須スキル。

並列化の 3 軸

ZeRO と DeepSpeed / FSDP

ZeRO(Zero Redundancy Optimizer) は、Adam の Optimizer State / 勾配 / パラメータを GPU 間で 重複なく分散 することでメモリ消費を 1/N に削減。DeepSpeed(Microsoft)・FSDP(PyTorch)に実装され、現代の大規模学習で必須。

• NVLink: 同一サーバ内 GPU 間高速接続(900 GB/s 以上)
• InfiniBand: サーバ間ネットワーク(400 Gbps)
• Gradient Checkpointing: 中間活性化を再計算してメモリ削減
• Mixed Precision: FP16 / BF16 で計算量とメモリを半減

学習済みモデルを 本番環境で素早く・安く 動かす技術。E 資格でもエッジデプロイ・量子化が頻出。

量子化とその種類

知識蒸留とプルーニング

• Knowledge Distillation(Hinton et al. 2015): 大きい教師モデルから小さい生徒モデルへ知識転移
• Pruning: 重要度の低い重みを削除(Magnitude pruning / Lottery Ticket Hypothesis)
• Sparse Attention: Transformer の注意機構を疎化
• MoE: 入力ごとに使うパラメータを動的選択

推論サーバとエッジ

• Triton Inference Server(NVIDIA): 異種モデル統合運用
• vLLM: LLM 専用、PagedAttention でスループット最大化
• ONNX Runtime: 異機種 GPU / CPU / モバイル対応
• TensorRT-LLM: NVIDIA GPU で最高速 LLM 推論
• llama.cpp: CPU / Apple Silicon でも LLM 動作

結びに

E 資格教科書 10 章を歩き終えました。数学基礎 → 機械学習 → DL 理論 → アーキテクチャ → 応用 → 実装 → 基盤モデル → 強化学習 → マルチモーダル → MLOps。続く 11 章では LLM の Fine-tuning とドメイン適応 を深掘りし、応用力をもう一段上げます。

Pretrained LLM(Llama・Qwen・Mistral など)を 特定タスクに適応 させる Fine-tuning は、現代 AI 開発の中核スキル。コスト・性能・専門性のトレードオフを設計します。

5 つの主要戦略

• Full Fine-tuning: 全パラメータを更新。最高性能だがコスト膨大
• LoRA(Low-Rank Adaptation): 重み更新を低ランク行列で近似(Hu et al. 2021)
• QLoRA: 4-bit 量子化 + LoRA。コンシューマ GPU で 70B 級が動く
• Prompt Tuning / Prefix Tuning: 学習可能な仮想トークンを追加
• Adapter: 各層に小さな MLP を挿入(LoRA の親戚)

LoRA の数学

Pretrained LLM はテキスト予測モデル。それを『指示に従う』モデルに変えるのが Instruction Tuning と RLHF / DPO。

Instruction Tuning(SFT)

RLHF と DPO の比較

GRPO と推論モデル

GRPO(Group Relative Policy Optimization)(DeepSeek 2024)は、Critic 不要で複数サンプルの相対的優劣 から学習する手法。DeepSeek-R1(2025)の推論モデルでブレイクスルー。OpenAI o1・o3 系も類似手法を採用と推測されています。E 資格 2026 シラバスで扱われ始めるトピック。

RAG(Retrieval-Augmented Generation) は『外部知識ベースから検索 → LLM に文脈として与える』手法。Fine-tuning と並ぶ、LLM の知識拡張の二大アプローチ。

RAG のパイプライン

1. インデックス構築: 文書をチャンク化 → 埋め込み → ベクトル DB に保存
2. 検索: クエリを埋め込み → 類似上位 $k$ 件を取得
3. 再ランク: Cross-Encoder で精度向上(オプション)
4. プロンプト構築: 検索結果 + ユーザークエリ
5. 生成: LLM で回答を生成
6. 評価: ハルシネーション検出 + 引用確認

ベクトル DB とハイブリッド検索

• Pinecone / Weaviate / Qdrant / Chroma: ベクトル DB の主要選択肢
• FAISS(Meta): ローカルベクトル検索ライブラリ
• ハイブリッド検索: Dense(意味)+ Sparse(BM25)を併用
• Reranker: Cohere Rerank・bge-reranker などで精度向上
• GraphRAG: 知識グラフを併用(Microsoft 2024)

Fine-tuning vs RAG の使い分け

ドメイン特化 LLM の事例

• Med-PaLM 2(Google): 医療 LLM、米医師国家試験(USMLE)で 86%
• BloombergGPT: 金融特化
• Code Llama・DeepSeek Coder: コーディング特化
• Claude for Enterprise: 企業データで Fine-tuning
• 日本語: ELYZA・rinna・Stockmark などのドメイン LLM

結びに

11 章にわたって、深層学習の基礎から最新 LLM 応用まで を駆け抜けました。E 資格はゴールではなく、AI エンジニアとしての旅路の出発点。ここで身に付いた数学・実装・運用の総合力を、ぜひ社会に役立つ AI システムとして実装してください。