1級 教科書

1 級の出題範囲を見渡すと、ほとんどの「いい性質」が指数型分布族と十分統計量という 2 つの概念のまわりで議論されていることに気づきます。本節ではこの 2 つを丁寧に整理し、続く章の最尤推定・漸近理論への基礎とします。

指数型分布族

「指数の中身がパラメータと観測値の積に分解される」というのが本質。具体例は驚くほど多く、正規分布・ベルヌーイ分布・二項分布・ポアソン分布・指数分布・ガンマ分布・ベータ分布など、よく使う分布の大半が指数型分布族に属します。

なぜ指数型分布族が大切か

• 十分統計量がきれいに見える: $T(x)$ がそのまま十分統計量。
• 最尤推定がたいてい解析的に解ける: スコア方程式が線形に近い形になる。
• 共役事前分布が体系的に存在: ベイズ推論との相性も抜群。
• 漸近正規性などの一般定理が適用しやすい: 規則性の条件が自然と満たされる。

十分統計量

フィッシャー・ネイマンの分解定理

完備十分統計量と UMVUE

「ある条件のもとで、これがいちばんいい不偏推定量」と理論的に保証してくれる強力な定理。指数型分布族では完備十分統計量が自然と存在するため、UMVUE を体系的に構成できます。

ラオ・ブラックウェルの定理

「不偏推定量を十分統計量で条件付ければ、必ず分散を下げる(または現状維持)」という、推定量改良の機械的な手順を与えます。完備性を加えれば、得られた $\tilde{\theta }$ は UMVUE になる ─ レーマン・シェッフェへの架け橋です。

ここまでが 1 級の理論の出発点。次節以降ではこの土台のうえに、最尤推定・漸近理論・尤度比検定といった「統計学を統計学たらしめる」道具立てを積み重ねていきます。

前節で「いい不偏推定量(UMVUE)」を作る道具を学びました。本節は実務でも理論でも主役となる別系統の推定法 ─ 最尤推定(MLE) ─ と、その性能の限界を与えるフィッシャー情報量 / クラメル・ラオの下限を扱います。

尤度関数と最尤推定量

「データを最も『もっともらしく』説明するパラメータを選ぶ」というシンプルな考え方。多くの分布で、$\partial \ell /\partial \theta =0$(スコア方程式)を解くだけで ${\hat{\theta }}_{\mathrm{MLE}}$ が求まります。

スコア関数とフィッシャー情報量

フィッシャー情報量は、文字どおり「データが $\theta$ について持っている情報の量」。情報量が大きいほど $\theta$ を精密に推定できる、という直感どおりの量です。

クラメル・ラオの下限

つまり、不偏推定量の精度には絶対的な「下限」があり、それより精密な不偏推定量は存在しない、ということ。指数型分布族の十分統計量から作る不偏推定量は、しばしばこの下限を達成します。

MLE の性質(規則条件下)

「サンプルが十分大きければ、MLE は『考えうる中で最も精度の良い』不偏推定量に収束していく」 ─ これが MLE の理論的優位性です。実務でも、特に理由がなければまず MLE を試す、というのが定石。

最尤法の弱点

• 有限標本では不偏でない: 例 1.3 の ${\hat{\sigma }}^2$ のように、バイアスを持つことがある。
• 規則条件が必要: 一様分布 $U(0,\theta )$ など、台がパラメータに依存する分布(非正則族)では性質が崩れる。
• 閉じた解がない場合がある: ロジスティック回帰など、数値計算が必要。
• MAP 推定との関係: 事前分布が一様なベイズ MAP = MLE。事前分布を入れることで正則化付き MLE になる。

前節で「MLE は漸近的に正規分布」「分散はフィッシャー情報量の逆数」までを学びました。本節では、その漸近正規性を変換した量にも持ち越したいときに使う、デルタ法とスラツキーの定理を扱います。1 級でも準1級でも、計算問題で頻出する道具です。

確率収束 と 分布収束(復習)

• $X_n\stackrel{p}{\to }c$(確率収束): 任意の $\epsilon >0$ に対し $P(|X_n-c|>\epsilon )\to 0$。
• $X_n\stackrel{d}{\to }X$(分布収束): $X_n$ の累積分布関数が $X$ の累積分布関数の連続点で各点収束。

スラツキーの定理

「分布収束する量と、確率収束する定数を足したり掛けたりしても、分布収束は保たれる」。$\sigma$ を $\hat{\sigma }$ で置き換えても漸近分布が同じ、と言いたいときに頻出します。

デルタ法

「推定量を変換しても、漸近正規性は保たれる(分散は微分の 2 乗倍)」というシンプルかつ強力な道具。導出はテイラー展開 $g(\hat{\theta })\approx g(\theta )+g^{\prime }(\theta )(\hat{\theta }-\theta )$ から一発です。

応用 ─ 信頼区間の作り直し

デルタ法のもう一つの大事な使いみち: 元の母数の信頼区間が出ているとき、それを変換した量(オッズ比、寿命の対数、など)の信頼区間を導く ─ ような操作。「$\theta$ の区間」から「$g(\theta )$ の区間」に翻訳する、と覚えると応用範囲が見えてきます。

次章では、これらの漸近理論を仮説検定の文脈で使い、1 級の主役 ─ 尤度比検定・ワルド検定・スコア検定の三者 ─ をまとめて統一的に扱います。

「ある有意水準 $\alpha$ のもとで、もっとも検出力の高い検定はどれか?」 ─ 仮説検定理論のもっとも基本的な問いに、明快な答えを与えるのがネイマン・ピアソン(NP)の補題です。1 級では理論的な背景として頻出。

用語の整理

• 単純仮説: 母数の値が一意に決まっている仮説(例: $\theta ={\theta }_0$)。
• 複合仮説: 母数が範囲で指定される仮説(例: $\theta >{\theta }_0$)。
• 有意水準 $\alpha$: 第 1 種の誤り(真の $H_0$ を棄却)の確率の上限。
• 検出力 $1-\beta$: 真の $H_1$ のもとで $H_0$ を正しく棄却する確率。
• 最強力検定(MP test): 与えられた $\alpha$ のもとで、検出力が最大の検定。

ネイマン・ピアソンの補題

「尤度比が小さい($H_0$ よりも $H_1$ のほうが今のデータをよく説明する)ときに $H_0$ を棄却する」 ─ 直感的にも納得のいく構造で、これが理論的に「ある $\alpha$ のもとでの最強力」と保証されているのが NP 補題のすごみです。

複合仮説への拡張

実際の検定では「$\theta >{\theta }_0$」のような複合仮説を扱うことがほとんど。NP 補題は単純仮説どうしの結果ですが、単調尤度比族(monotone likelihood ratio family)に属する分布族では、片側複合仮説に対しても一様最強力検定(UMP test)が NP 補題から構成できます。指数型分布族の多くがこの族に属し、教科書的な検定(z 検定・t 検定の片側版など)が最適性を持つことの根拠になっています。

両側複合仮説の難しさ

一方、$H_0:\theta ={\theta }_0$ vs $H_1:\theta \ne {\theta }_0$ のような両側仮説では、一般に UMP 検定は存在しません。「右側に外れたとき」と「左側に外れたとき」で最強力検定の形が異なるため、両方を同時に最強力にすることができないのです。代わりに、不偏性などの追加条件をつけて「不偏 UMP 検定」を構成する、というのが教科書的な解決策。

次節で扱う尤度比検定(複合仮説でも使える)は、この困難への一般的な対処法です。

1 級でもっともよく登場する検定の枠組みが、本節で扱う 3 兄弟 ─ 尤度比検定・ワルド検定・スコア検定です。漸近的にはこれら 3 者は等価ですが、それぞれ違う計算上の特性を持つため、状況に応じて使い分けます。

3 種類の検定統計量

$H_0:\theta ={\theta }_0$ vs $H_1:\theta \ne {\theta }_0$ を考える。3 つの検定はいずれも、$H_0$ のもとで漸近的に自由度 $r$ のカイ二乗分布($r$ は制約の次元)に従います。

3 兄弟の使い分け

• 尤度比検定: 制約付き / 制約なしの両方の MLE を求める必要がある。最も理論的に扱いやすく、ウィルクスの定理で安定して使える。
• ワルド検定: 制約なしの MLE $\hat{\theta }$ だけ計算すればよい。実装が楽で、回帰係数の有意性検定などで実務に多用される(回帰出力の z 値・t 値はこれ)。
• スコア検定: $H_0$ のもとでの値だけ計算すればよい。MLE の数値計算が困難なとき(ロジスティック回帰の収束しない例など)でも検定が可能。

漸近的等価性

$n$ が十分大きいとき、3 つの統計量は漸近的に同じ値を取り、同じ判定を下します。「どれを使ってもいい」場面では、計算しやすいものを選べばよい、というのが結論。実務では、線形モデルの係数検定 → ワルド、入れ子モデルの比較 → 尤度比、収束しないモデル → スコア、と使い分けるのが定石です。

発展 ─ 一般化線形モデルでの検定

ロジスティック回帰やポアソン回帰のような一般化線形モデル(GLM)では、これら 3 つの検定がそれぞれ別の用途で日常的に使われています。

• 個別の係数の有意性: ワルド検定(回帰出力に直接表示される z / t 値)。
• ネストしたモデルの比較: 尤度比検定(deviance の差で計算される)。
• 収束に問題があるモデル: スコア検定や Firth の補正など。

次章では、こうした「最尤推定が必要だが解析的に解けない」状況で活躍する計算統計学の道具 ─ EM アルゴリズム・MCMC ・ ブートストラップ ─ を扱います。

「データの一部しか観測できない」「観測できないグループ分けがある」 ─ 統計学では、こうした 潜在変数モデル が頻出します。混合分布、隠れマルコフモデル、欠測データ補完など。これらの最尤推定を、巧妙な反復計算で解くのが本節の主役、EM アルゴリズム(Expectation-Maximization)です。

潜在変数モデルの困難さ

観測データを $\mathbf{X}$、観測できない潜在変数を $\mathbf{Z}$ とすると、観測データの尤度は $L(\theta ;\mathbf{X})={\sum }_{\mathbf{Z}}L(\theta ;\mathbf{X},\mathbf{Z})$(連続なら積分) の形になり、和(積分)を含むため対数を取っても扱いづらい ─ これが直接最尤推定を難しくする理由。

EM アルゴリズム

重要な性質

つまり「悪化することがない」のが EM の保証。ただし大域最適に収束するわけではなく、初期値次第で局所最適にハマることがあります。実務では複数の初期値から走らせて、もっとも尤度が大きい解を採用する、という流儀が一般的。

代表的な応用例

• ガウス混合モデル(GMM): $K$ 個の正規分布の混合で、各データがどの成分から来たかを潜在変数 $Z_i$ とする。クラスタリングの定番手法 k-means の確率版。
• 欠測データの補完: $\mathbf{X}$ の一部が欠測の場合、その欠測値を潜在変数とみなして EM を回す。
• 隠れマルコフモデル(HMM): 観測される系列の背後に「隠れた状態列」を仮定し、Baum-Welch アルゴリズム(EM の特殊化)で推定。音声認識・自然言語処理で活躍。
• 因子分析: 観測変数の背後に少数の因子を仮定するモデル。

理論的な見方

EM は実は「下界(lower bound)を最大化する反復」と見ることができ、変分推論やベイズ拡張(変分 EM、ベイジアン EM)へと自然に発展します。1 級ではここまでは問われませんが、データサイエンスの実務では知っておくと役立つ視点。

現代統計学の最後の柱は、コンピュータの力を借りるシミュレーション系の手法です。本節ではベイズ推論の主役 MCMC と、ノンパラメトリックな推測の定番ブートストラップを扱います。

MCMC ─ サンプリングで事後分布を近似する

ベイズ推論で事後分布 $\pi (\theta \mid D)$ から直接サンプリングできれば、平均・分散・分位点が全部計算できます。しかし複雑なモデルでは閉じた形では書けない。そこで登場するのが MCMC(Markov Chain Monte Carlo) ─ 「目的の分布に収束するマルコフ連鎖を構成して、その軌跡を疑似サンプルとして使う」という発想です。

メトロポリス・ヘイスティングス法

受理確率の比に事後分布の値だけが現れる(規格化定数 $p(D)$ がいらない!)のが MH のすごみ。「ベイズの分母が計算できないから困る」問題を、見事に回避します。

ギブスサンプリング

実用上のチェック項目

• バーンイン期間: 初期値の影響を取り除くため、最初の数千サンプルは捨てる。
• 収束診断: 複数チェーンを走らせて、Gelman-Rubin の R-hat 統計量が 1 に近いか確認。
• 自己相関: MCMC サンプルは独立ではないので、有効サンプルサイズ ESS を見る。
• 現代の実装: Stan、PyMC、NumPyro などのモダンな確率的プログラミング言語が、これらをほぼ自動でやってくれる。

ブートストラップ ─ リサンプリングで推定量の分布を見る

「真の母集団分布の代わりに、観測データそのものを母集団とみなしてリサンプリング」という大胆な発想。複雑な推定量(中央値、相関係数、機械学習モデルの予測精度など)に対しても標準誤差や信頼区間が計算できる、という強力な汎用性が魅力。$B$ は通常 $1000$ 〜 $10000$ 程度。

ブートストラップ信頼区間の作り方

• 百分位法: ${\hat{\theta }}^{\ast (b)}$ の経験分布の 2.5 / 97.5 パーセンタイルを区間端点とする。
• ブートストラップ-t 法: より精度の高い区間。t 統計量に類似のピボット量を使う。
• バイアス補正(BCa)法: バイアスと加速度を補正した、漸近的に正確な区間。

総まとめ

ここまで、1 級の主要範囲 ─ 推定理論(指数型分布族、十分統計量、MLE、漸近理論)・検定理論(NP 補題、尤度比・ワルド・スコア検定)・計算統計学(EM、MCMC、ブートストラップ) ─ を駆け足で見てきました。これらは現代統計学のあらゆる手法の土台になる、まさに「数理統計学の核」です。

次章以降では、これらの基盤の上で 確率過程・多変量解析の理論・応用統計 という、1 級でさらに問われる発展領域へと踏み込みます。

マルコフ連鎖 は、時間と状態が離散の確率過程で、『次の状態は現在の状態だけで決まり、過去には依存しない(マルコフ性)』という性質を持ちます。MCMC・隠れマルコフモデル・確率モデルの基礎理論として 1 級でも頻出。

マルコフ性と推移確率

$n$ ステップ後の推移確率は、推移行列の $n$ 乗 $P^n$ の $(i,j)$ 成分。これがマルコフ連鎖の解析を 線形代数 に帰着させる強力な性質です。

定常分布と既約性・非周期性

既約(任意の状態から任意の状態に到達可能)で 非周期的 な有限マルコフ連鎖は、初期分布によらず一意の定常分布に収束する(エルゴード定理)。これが MCMC の理論的基盤です。

ポアソン過程 は、時間連続・離散イベントの最も基本的な確率過程。電話の着信・地震の発生・Web ページのアクセス ─ 『ランダムなタイミングで起きる稀なイベント』を理想化したモデルです。

定義

重要な性質

• 期待値: $E[N(t)]=\lambda t$ ─ 平均すると単位時間あたり $\lambda$ 回
• 事象間隔: 隣接事象間の時間 $T$ は 指数分布 $\mathrm{Exp}(\lambda )$ に従う(無記憶性)
• $n$ 番目の事象時刻: $\mathrm{Gamma}(n,\lambda )$ に従う
• 重ね合わせ: 独立な強度 ${\lambda }_1,{\lambda }_2$ のポアソン過程の合成は強度 ${\lambda }_1+{\lambda }_2$ のポアソン過程

発展 ─ 非定常ポアソン過程

強度 $\lambda$ が時間に依存する($\lambda (t)$)場合を非定常ポアソン過程という。Web サイトのアクセスは平日昼間に多く深夜に少ないので、$\lambda (t)$ が時間変動するモデルが自然。応用統計では非定常ポアソンが標準的に登場します。

ブラウン運動(Wiener 過程) は、時間連続・状態連続の確率過程。物理学で粒子のランダムな運動を記述したのが起源で、現代の金融工学(株価モデル)・確率微分方程式の中核を担っています。1 級では概念的な紹介にとどまります。

ブラウン運動の特徴付け

応用 ─ 金融工学

株価 $S(t)$ を 幾何ブラウン運動 $dS=\mu Sdt+\sigma SdW$ でモデル化するのが Black-Scholes モデルの出発点。オプション価格の理論はブラウン運動から導かれます。

準1級では PCA を『分散最大方向』として導入しました。1 級では、これを 共分散行列の固有値分解 として正面から扱い、最適性を証明できるレベルまで深めます。

最適化問題としての PCA

ラグランジュ未定乗数法で示せる: $\mathcal{L}(\mathbf{w},\mu )={\mathbf{w}}^{\top }\Sigma \mathbf{w}-\mu ({\mathbf{w}}^{\top }\mathbf{w}-1)$ を $\mathbf{w}$ で微分してゼロ → $\Sigma \mathbf{w}=\mu \mathbf{w}$ → $\mathbf{w}$ は固有ベクトルで $\mu$ は固有値。最大値は最大固有値 ${\lambda }_1$。

次元削減の最適性

Eckart-Young の定理: $k$ 個の主成分による近似 $\Sigma \approx V_k{\Lambda }_k{V}_k^{\top }$ は、Frobenius ノルムの意味で 最良の階数 $k$ 近似(打ち切り SVD と同等)。これが『PCA で次元削減すると情報損失が最小になる』ことの厳密な根拠です。

標本共分散行列の固有値分布

実データから計算した標本共分散 $\hat{\Sigma }$ の固有値は、真の固有値からどの程度ずれるか? 次元 $p$ が固定で標本サイズ $n\to \infty$ なら一致 しますが、$p$ も大きいとき(高次元小標本)は、Marchenko-Pastur の法則 などで分布が記述されます。1 級でこのレベルまで問われることは少ないですが、現代の高次元統計学への入口として知っておくと視野が広がります。

Fisher の線形判別分析(LDA)は、準1級では『群間/群内分散の比を最大化』として導入しました。1 級では 正規分布の仮定下で誤分類率を最小化する分類器 として、最適性の意味を厳密に整理します。

ベイズ判別則

もし真の事前確率 ${\pi }_k$ と条件付き分布 $f_k$ が分かっていれば、ベイズ判別則がもっとも誤分類率の少ない分類器であることが証明できます。これが 理論的な最適分類器 です。

正規分布のもとでの LDA

$f_k(\mathbf{x})=N({\mathbf{\mu }}_k,\Sigma )$($\Sigma$ は群によらず共通)を仮定すると、ベイズ判別則は $\mathbf{x}$ の線形関数 で表せ、Fisher の LDA と一致する。これが LDA の最適性の意味です。

誤分類率の評価

理論的な誤分類率は マハラノビス距離 で書ける: 2 群の Mahalanobis 距離 $\Delta =\sqrt{({\mathbf{\mu }}_1-{\mathbf{\mu }}_2{)}^{\top }{\Sigma }^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_2)}$ が大きいほど誤分類率は小さい。実データではブートストラップや交差検証で誤分類率を推定することもできます。

品質管理(SPC: Statistical Process Control) は、製造業の現場で工程の安定性・能力を統計的に監視する分野。1 級「統計応用」の理工分野で重要な選択トピックです。

管理図(Control Chart)

$\pm 3\sigma$ は正規分布の 0.27% に相当。つまり管理状態にある工程では、点が外れるのは 1000 回に 3 回未満 ─ 外れたら『異常』と判断するのが妥当、という統計的根拠になっています。

工程能力指数 $C_p, C_{pk}$

• $C_{pk}\ge 1.33$: 工程能力は十分(製造業の標準的目標)
• $C_{pk}\ge 1.67$: 卓越した工程能力
• $C_{pk}<1.0$: 工程改善が必要

医薬統計 は新薬開発・臨床試験の設計と評価を扱う分野。1 級「統計応用」の医薬生物分野で重要な選択トピックで、規制当局(PMDA・FDA)向けの厳密な統計設計が求められます。

臨床試験のフェーズ

• 第 I 相: 安全性・薬物動態。少人数(20〜80 人)の健常者で実施。
• 第 II 相: 用量設定・有効性の予備的評価。100〜300 人の患者。
• 第 III 相: 既存薬との 比較対照試験。数百〜数千人の患者。承認の根拠となる。
• 第 IV 相: 市販後調査。長期安全性・希少副作用の検出。

ランダム化比較試験(RCT)

新薬の有効性を統計的に主張するには、プラセボ対照(または既存薬対照)二重盲検 RCT が原則。これが Fisher の実験計画法の最も影響力のある応用です。

症例数設計

中間解析と適応的試験

近年は 中間解析(試験途中でデータを見て早期中止を判断)・適応的デザイン(途中で割り付け比率を変える)などのモダンな設計が広がっています。中間解析を行う場合、多重比較の調整(O'Brien-Fleming 境界など) が必要 ─ これも 1 級で問われる発展トピック。

ここまでの 6 章で実務応用との接点を扱いました。続く 7-10 章では、1 級の試験で問われる 理論の最深部 ─ ノンパラ理論・ベイズ理論・情報幾何・現代統計の発展 ─ を扱います。

経験分布関数(Empirical Distribution Function, EDF) は、観測データから直接構成する 分布関数の推定量。ノンパラ統計の出発点です。

EDF の定義と Glivenko-Cantelli 定理

Kolmogorov-Smirnov 検定

ヒストグラムの 滑らかな代替。離散的な階段ではなく、連続的な密度を推定する非パラメトリック手法。

KDE と AMISE 最適バンド幅

次元の呪い

ナダラヤ・ワトソン推定量

回帰関数の非パラメトリック推定 $\hat{m}(x)=\sum K_h(x-X_i)Y_i/\sum K_h(x-X_i)$。局所重み付け平均。局所多項式回帰・スプライン平滑化への自然な拡張があります。

Wilcoxon・Mann-Whitney・Kruskal-Wallis などのノンパラ検定の 漸近理論的基盤。

順位の不変性

U 統計量と Hoeffding の定理

ハジェク射影と漸近正規性

ハジェク射影(Hájek projection)は U 統計量を独立和に近似する手法。$U_n-E[U_n]\approx {\sum }_{i}E[U_n-E[U_n]\mid X_i]$ で、中心極限定理を適用可能に。ノンパラ漸近理論の中心道具で、ブートストラップ・ジャックナイフ の理論基盤でもあります。

Quantile Regression

Quantile Regression(Koenker & Bassett 1978) はピンボール損失 ${\rho }_{\tau }(u)=u(\tau -1\{u<0\})$ を最小化し、任意の分位点($\tau$)を回帰する。裾分位点 を直接推定できるので、リスク管理(VaR・CVaR)・所得分布分析で実務利用、深層学習の不確実性推定にも応用されています。

階層ベイズ(hierarchical Bayes) は、複数のグループ・地域・時点で観測されるデータを、共通のハイパーパラメータで結びつけるモデル群。

正規階層モデル

Stein のパラドックス

経験ベイズ(EB)

ハイパーパラメータをデータから推定してから事後分布を計算するアプローチ(Robbins 1956)。完全なベイズより軽量で、実務では multinomial-Dirichlet 経験ベイズや Empirical Bayes Lasso が幅広く使われます。

MCMC は無限に走らせれば真の事後分布からサンプリングしますが、有限ステップで止めるため 収束診断 が必須。

Gelman-Rubin 統計量と ESS

HMC と NUTS

Hamiltonian Monte Carlo(HMC) は物理学のハミルトン力学に基づく MCMC。位置 $\theta$ と運動量 $r$ を導入し、$U(\theta )=-\log p(\theta )$ をポテンシャルとして leapfrog 積分で軌跡を辿る。高次元・相関の強い事後 で従来 MH より圧倒的に効率的。

MCMC が 正確だが遅い のに対し、変分推論(VI) は 近似だが速い ベイズ計算。深層学習・大規模ベイズの主役。

ELBO と KL 最小化

Reparameterization Trick

$z\sim q_{\varphi }(z)$ を $z=g_{\varphi }(ϵ),ϵ\sim p(ϵ)$ と書き換え、勾配 ${\nabla }_{\varphi }\mathrm{ELBO}$ を低分散で計算(Kingma & Welling 2013)。変分オートエンコーダ(VAE) の中核技術。SGD とベイズの統合を実現。

Mean-field と Structured VI

• Mean-field: $q(\theta )=\prod q_i({\theta }_i)$、計算高速だが事後相関を捉えられない
• Structured VI: 事後相関の構造を明示的にモデル化
• Normalizing Flows: 単純分布から複雑分布への可逆変換で柔軟な近似
• Amortized VI: 入力に応じた事後を推論するエンコーダ(VAE が代表例)

情報幾何(information geometry) は、確率分布族を 微分多様体 として扱い、その上の幾何構造を統計に応用する分野。甘利俊一が体系化。

Fisher 情報量と統計多様体

自然勾配法

統計的決定理論(Wald 1939-50)は、推定・検定を『統計家とサイコロを振る自然との対戦』というゲーム理論的枠組みで定式化。

損失関数とリスク・許容性

ベイズ・ミニマックスの双対

指数型分布族(exponential family) は、ほぼすべての標準分布を統一的に扱う枠組み。1 級の理論的中核。

指数型分布族の標準形

Rao-Blackwell 定理と十分統計量

$p\gg n$(変数数 > 標本サイズ)の世界。古典的な統計理論は破綻し、新しい理論が必要になります。

高次元の課題

• $X^{\top }X$ が特異: 通常の OLS が解けない
• 多重検定: 数千の仮説で α 補正が必要(FDR・Bonferroni)
• 次元の呪い: kNN・KDE が機能しない
• スパース性仮定: 多くの真の係数 = 0 と仮定して識別

Lasso の漸近理論

Knockoff filter と FDR 制御

Knockoff filter(Barber & Candès 2015) は変数選択における 誤発見率(FDR)制御 を有限標本で達成する画期的手法。各変数のノイズレプリカ(knockoff)を構成し、対称性を利用して FDR を保証。

ニューラルネットの 驚くべき汎化 を説明する理論枠組みは、統計学習理論・PAC-Bayes・Neural Tangent Kernel など、複数の方向で発展。

VC 次元と Rademacher 複雑度

Double Descent

PAC-Bayes と Neural Tangent Kernel

PAC-Bayes 境界(McAllester 1999)は事前・事後分布の KL 距離で汎化誤差を抑える。Neural Tangent Kernel(Jacot et al. 2018) は無限幅ニューラルネットがカーネル法と等価になる漸近理論。深層学習の理論的解析の現代的道具です。

1 級教科書 10 章を通じて、数理統計学の主要トピック を一通り歩きました。

10 章の地図

1. Ch1 推定理論: 不偏性・有効性・Cramér-Rao 下限・MLE
2. Ch2 検定理論: Neyman-Pearson 補題・最強力検定
3. Ch3 計算統計: ブートストラップ・MCMC・EM
4. Ch4 確率過程: マルコフ連鎖・ブラウン運動・マルチンゲール
5. Ch5 多変量解析の理論: Wishart 分布・Hotelling T²
6. Ch6 応用統計: 線形モデル・GLM 理論
7. Ch7 ノンパラ理論: EDF・KDE・順位統計量・U 統計量
8. Ch8 ベイズ理論: 階層モデル・MCMC 診断・変分推論
9. Ch9 情報幾何と決定理論: Fisher 計量・ミニマックス・指数型族
10. Ch10 現代統計学: 高次元統計・PAC-Bayes・Double Descent

正規教科書への接続

• 竹村『現代数理統計学』(学術図書): 1 級の標準テキスト
• 稲垣『数理統計学』(裳華房): 古典的名著・厳密な証明
• van der Vaart 『Asymptotic Statistics』(Cambridge): 漸近理論の世界標準
• Wasserman 『All of Statistics』: 機械学習向け統計テキスト
• Boyd & Vandenberghe 『Convex Optimization』: 凸最適化のバイブル

1 級合格、そしてその先の研究者・実務家としての歩みを応援します。統計学は社会の知的インフラ ─ あなたの 1 つ 1 つの理解が、社会全体の意思決定の質を高めることにつながります。

因果推論(causal inference) は『観察と介入の違い』を扱う統計学の一分野。Pearl の有向非巡回グラフ(DAG)が現代理論の中心です。

因果 DAG の基本構造

d-separation

do 演算子 $do(X=x)$ は『$X$ を強制的に値 $x$ にする介入』を表す Pearl の独自記法。観察的条件付け $P(Y|X=x)$ と区別されます。

do 演算子の意味

バックドア基準

Front-door 基準

フロントドア基準 はバックドアでカバーできない場合の代替。$X\to M\to Y$ という媒介変数 $M$ を経由する経路をすべて辿れるとき、観察データから $P(Y|do(X))$ を計算可能。喫煙 → タール → がん という Pearl の有名な例。

do-Calculus の 3 規則

反事実(counterfactual) は『もし $X=x^{\prime }$ だったら、$Y$ はどうなっていたか』という仮想的な問いを定式化する枠組み。

Pearl の階層性

構造方程式モデル(SEM)

潜在結果モデル(POM)

因果機械学習(Causal ML)

• Double Machine Learning(Chernozhukov 2018): 機械学習 + 古典因果推論
• Causal Forests(Athey & Imbens 2019): 異質的処置効果推定
• Meta-Learners: T-/S-/X-/R-Learner の 4 系統
• 因果表現学習: 表現空間で因果構造を保つ深層学習
• LLM × 因果: GPT-4 で因果グラフを抽出する研究も

結びに

1 級教科書 11 章で 観察 → 介入 → 反事実 のすべてを扱いました。因果推論は『機械学習の次の壁』 とも言われ、政策評価・医療・経営判断のすべてで本質的な役割を果たします。本サイトの [因果推論ミニ教科書](/causal-inference) で実装も学べます。