2026-05-02·統計検定対策·⏱ 約 6 分

ベイズ統計の直感 ─ 事前分布・尤度・事後分布の関係を1から

頻度主義と対比しながら、ベイズの定理がなぜ強力なのかを段階的に解説。共役分布・MAP推定・MCMCまで、準1級受験者が最初に押さえるべき5つの軸。

頻度主義の検定や信頼区間に慣れていると、ベイズ統計は『別の流派』に見えるかもしれません。しかし両者は対立するというより、異なる質問に答える道具。本記事ではベイズの定理を 5 つのステップで直感的に押さえ、準1級受験者が最初にハマる『事後分布が計算できない』壁の越え方まで案内します。

ベイズの定理 ─ 1 行で書ける魔法

π (θ ∣ x) = \frac{p ( x ∣ θ ) π ( θ )}{p ( x )} \propto p (x ∣ θ) π (θ)

$π (θ)$ : 事前分布 — データを見る前のパラメータについての信念
$p (x ∣ θ)$ : 尤度 — 真値が $θ$ ならデータ $x$ が観測される確率
$π (θ ∣ x)$ : 事後分布 — データを見た後の更新された信念
$p (x)$ : 正規化定数 — 普通は計算困難

「比例」の右側だけ見ればいい

正規化定数は計算困難ですが、 $θ$ に依存しないので 事後分布の形 には影響しません。MCMC や変分推論はこの性質を利用し、比例関係 $π (θ ∣ x) \propto p (x ∣ θ) π (θ)$ だけで動作します。

頻度主義との違い

「コインの表確率」を例に

10 回投げて 8 回表が出た。 $θ$ (表確率)はいくつ?

頻度主義(MLE): $\hat{θ} = 8/10 = 0.8$ 。点推定。信頼区間は『手続きの性質』として 95% 信頼区間を計算

ベイズ: 事前に『コインは公平っぽい』と思っていた → ベータ事前 Beta(2, 2)。観測 → 事後 Beta(10, 4)。 → 事後平均 = 10/14 ≈ 0.71、事後 95% 確信区間 [0.45, 0.91]、 $P (θ > 0.5 ∣ x) = 0.97$ など、事後確率を直接計算できる

共役分布 ─ 事後が解析的に求まる組み合わせ

ベルヌーイ尤度 + ベータ事前 → ベータ事後: $Beta (α + s, β + n - s)$
ポアソン尤度 + ガンマ事前 → ガンマ事後: $Gamma (α + \sum x_{i}, β + n)$
正規(分散既知) + 正規事前 → 正規事後: 平均は加重平均、分散は精度の和の逆数
多項尤度 + ディリクレ事前 → ディリクレ事後: カテゴリの頻度を加算

MAP 推定 ─ 事後分布の最頻値

事後分布 $π (θ ∣ x)$ を最大化する $θ$ が MAP 推定値:

\hat{θ}_{MAP} = ar g θ max p (x ∣ θ) π (θ)

事前分布が一様なら $π (θ)$ が定数になり、MAP は MLE と一致します。MAP は 正則化付き最尤推定 と等価で、L2 正則化 ↔ ガウス事前、L1 ↔ ラプラス事前と対応します。

事後平均 vs MAP vs 事後中央値

事後平均: 二乗誤差を最小化する点推定
MAP: 0-1 損失を最小化する点推定(離散的には最頻値)
事後中央値: 絶対誤差を最小化する点推定。歪んだ事後で頑健

MCMC ─ 事後を計算困難なときの救世主

サンプリングで分布を表現する

事後分布を解析的に書けないとき、事後からのサンプル $θ^{(1)}, θ^{(2)}, \dots$ を大量に生成すれば、平均・分位点・確信区間などを近似できます。これが マルコフ連鎖モンテカルロ(MCMC) の発想です。代表的アルゴリズム: メトロポリス・ヘイスティングス、Gibbs サンプリング、Hamiltonian Monte Carlo(HMC)、NUTS(Stan の標準)。

PyMC で実装してみる

コインの偏り推定をベイズで

import numpy as np
import pymc as pm

observed_heads = 8
n_trials = 10

with pm.Model() as model:
    theta = pm.Beta('theta', alpha=2, beta=2)  # 事前 Beta(2,2)
    obs = pm.Binomial('obs', n=n_trials, p=theta, observed=observed_heads)
    trace = pm.sample(2000, return_inferencedata=True)

import arviz as az
print(az.summary(trace, var_names=['theta']))
# 出力: 事後平均 ≈ 0.71、94% HDI ≈ [0.46, 0.91]