統計のための数学基礎

統計学はあらゆる場面で「割合」を扱います。「サイコロで偶数が出る確率」「標本のうちアンケートに答えた人の比率」「合格率」「失業率」 ─ どれも形式は割合です。本節ではまず、割合の 3 つの表現(割合・百分率・歩合)を整理します。

割合の基本式

百分率(%)

上の例 1.1 で、男子の割合 $0.6$ を百分率にすると $0.6\times 100=60\%$。「男子は全体の 60% を占める」と読める。

歩合(割・分・厘)

野球の打率や金利でよく使う表記。「3 割 2 分」「年利 5 厘」のような形。

• 1 割 = 0.1 = 10%
• 1 分 = 0.01 = 1%
• 1 厘 = 0.001 = 0.1%

増加率・減少率の計算

統計のニュースで「物価が前年比 +3.2% 上昇」「失業率が 0.1 ポイント低下」のような表現を見ます。「率」と「ポイント」の違い に注意 ─ 失業率が 5.0% から 4.9% になったとき、減少幅は 「0.1 ポイント」(ポイント差)、減少率は 「2%」(0.1/5.0)。混同しやすいので、ニュースを読むときは意識してみましょう。

「日本の人口 約 1.24 億人」「光の速さ 約 3 × 10^8 m/s」 ─ 統計や科学では大きな数や小さな数が頻繁に登場します。これらを効率よく扱うのが指数表記と科学記法です。

指数(累乗)の基本

指数法則(暗記必須)

科学記法(指数表記)

• $10^3=1,000$(千)
• $10^4=10,000$(万)
• $10^6=1,000,000$(百万)
• $10^8=100,000,000$(億)
• $10^{-3}=0.001$
• $10^{-6}=0.000001$(マイクロ)

なぜ統計で使うか

統計学では、「とても小さな確率」(p 値)や「とても大きな数」(母集団サイズ)を扱う場面が頻繁にあります。例: $p=0.0000021$ は $p=2.1\times 10^{-6}$ と書けば一目瞭然。電卓やプログラミング言語の出力でも科学記法(`2.1e-6` のような表記)が標準です。

「データ $x_1,x_2,\dots ,x_n$ を全部足す」 ─ 統計学で最も頻繁に使う操作のひとつ。これを短く書くのが総和記号 Σ(シグマ)です。3 級以降の教科書ではほぼ全ページに登場するので、見た目に慣れておきましょう。

Σ の基本

Σ の便利な公式

統計での典型的な使い方

統計の式で Σ がどう使われているか、代表的なものを 3 つ。

• 標本平均: $\bar{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_i$ ─ 全部足して個数で割る
• 標本分散: $s^2=\frac{1}{n}{\sum }_{i=1}^n(x_i-\bar{x}{)}^2$ ─ 偏差の 2 乗の平均
• 期待値: $E[X]={\sum }_i{x}_{i}P(X=x_i)$ ─ 値 × 確率の和

添字の範囲を省略する慣例

文脈から添字の範囲が明らかなときは、上下を省略して $\sum x_i$ と書くことがあります。「全部の $i$ について足す」と暗黙に解釈される、と覚えましょう。Σ を見たら、まず「何を足しているか / 添字はどう動くか」を頭で展開するクセをつけると、複雑な式も読み解けるようになります。

対数(ログ) は指数の逆向きの操作。「$2$ を何回掛けたら $8$ になる?」という問いの答えが対数です。最尤推定、情報量、複利計算、地震のマグニチュードなど、応用が非常に広い概念。

対数の定義

対数の性質

底による分類

• 常用対数 ${\log }_{10}$: 底が 10。日常的な計算・情報量(ビット)で使う
• 自然対数 $\ln$ または ${\log }_e$: 底が $e$(ネイピア数 $\approx 2.718$)。微積分・統計理論で標準
• 二進対数 ${\log }_2$: 底が 2。情報量・コンピュータサイエンスで使う

ネイピア数 $e$

統計でなぜ対数を使うか

• 最尤推定: 尤度関数 $L(\theta )=\prod f(x_i;\theta )$ の対数 $\log L$ を最大化する。積 → 和に変えて微分しやすくするため
• 指数分布・正規分布など: 確率密度関数の形に $e$ が含まれる
• 情報量: $\mathrm{H}(X)=-\sum p_i{\log }_2{p}_i$(エントロピー)
• ロジスティック回帰: $\log (p/(1-p))$ を線形回帰でモデル化
• 桁数を圧縮: 大きな数を小さな数に変換できる(例: 売上 $10^8$ 円 → ${\log }_{10}=8$)

対数は最初は取っつきにくいですが、性質を 5 つ覚えれば応用は機械的にできます。3 級では「式を読めれば OK」、2 級以降では「自分で計算する」レベルに引き上げていきましょう。

微分 は、関数の「変化の速さ」を測る道具です。統計学では「最尤推定で $\partial \log L/\partial \theta =0$ を解く」ような場面で必ず登場します。本節では、微分の 意味の感覚 と 最低限覚える公式 4 つ を整理します。

微分とは何か ─ 直感的な意味

「車の位置を時刻で微分すると速度になる」と言われるように、微分は「ある瞬間の変化の速さ」を表します。

数式で言えば、$x$ が少しだけ変化したときに $f(x)$ がどれだけ変わるか ─ その「変化の比」を、変化幅を限りなく小さくしていったときの極限で定義します。

微分の基本公式(最低限の 4 つ)

「微分 = 0」の意味 ─ 統計で頻出の場面

関数の 極値(最大値・最小値)では、必ず接線が水平になる ─ つまり微分が $0$ になります。

• $f^{\prime }(x)>0$: グラフは右上がり(増加中)
• $f^{\prime }(x)=0$: 接線が水平 ─ 山頂(極大)or 谷底(極小)or 屈曲点
• $f^{\prime }(x)<0$: グラフは右下がり(減少中)

統計での使い場面 ─ 最尤推定

1 級のキー定理 ─ 最尤推定 は、まさに「対数尤度を最大化するパラメータを探す」操作。具体的には次のステップ:

1. 対数尤度関数 $\log L(\theta )$ を $\theta$ で微分
2. $\frac{d}{d\theta }\log L(\theta )=0$ の方程式を解く(スコア方程式)
3. 得られた $\hat{\theta }$ が最尤推定量

微分の道具を持っていると、こうした「最も自然な推定量」が機械的に導けます。準1級・1級では避けて通れない技なので、最低限の 4 公式は必ず手で動かせるようにしておきましょう。

積分 は、関数の「累積した量(面積)」を求める道具。微分の逆向きの操作とも言えます。統計学では 連続確率変数の確率計算(密度関数の面積)で必須となる概念です。

積分とは何か ─ 面積を求める

関数 $y=f(x)$ のグラフと $x$ 軸 で囲まれた、$x=a$ から $x=b$ までの 面積 を、

と書きます(「$a$ から $b$ までの $f(x)$ の積分」と読む)。$dx$ は「$x$ の小さな幅」を表す記号で、「小さな短冊の面積を足し合わせていく」というイメージです。

微分と積分の関係(微積分の基本定理)

積分の基本公式

統計での使い場面 ─ 連続分布の確率

離散確率変数では「特定の値をとる確率」を $P(X=k)$ と表せましたが、連続確率変数では 「ぴったりこの値」となる確率は 0(密度関数なので)。代わりに、ある区間に入る確率は密度関数の積分で計算します。

「区間で確率」の重要な性質

• $P(X=c)=0$(連続変数は「ぴったり」の確率が常に 0)
• $P(a<X<b)=P(a\le X\le b)$(端点の有無は無関係)
• 累積分布関数 $F(x)={\int }_{-\infty }^{x}f(t)dt$ ─「$x$ 以下の確率」を表す関数
• $P(X>x)=1-F(x)$ ─ 余事象を使った計算

統計検定 2 級では「正規分布の値が $\mu \pm \sigma$ の範囲に入る確率は $\approx 68\%$」のような結果を 暗記 で済ませますが、その背景には密度関数の積分があります。準 1 級・1 級では実際に積分を計算する場面が出てきます。

ベクトル は「向きと大きさ」を持つ量。多変量データを扱う統計学では、データ 1 件をベクトルとして表します。本節では、ベクトルの基本的な演算と、統計学でとくに重要な 内積 の意味を整理します。

ベクトルの定義

和・スカラー倍

内積(ドット積)

ノルム ─ ベクトルの「長さ」

内積の幾何的意味

統計での使い場面 ─ 相関係数の幾何的解釈

実は 相関係数 $r$ は、平均を引いた 2 つのデータベクトルの「内積を長さで割った値」(= cos θ) に等しいんです。

「相関係数が $-1\le r\le 1$ に収まる」のは「コサインが $-1\le \cos \theta \le 1$ に収まる」から、と幾何的に理解できます。これがベクトルの威力 ─ 統計の式が幾何的に「見える」ようになる、というメリットです。

行列(matrix)はベクトルを縦横に並べたもの。データ全体を行列で表すことで、複数のデータをまとめて一気に処理できます。準1級・1級の 重回帰・PCA・多変量正規分布 などでは、行列なしでは式を書くことすらできません。

行列の定義

統計でデータを扱うときは、行 = データ 1 件、列 = 1 つの特徴(身長・体重など) とするのが標準。$n$ 人 × $p$ 特徴のデータは $n\times p$ 行列で表せます。

行列の積

注意: $A$ の 列数 と $B$ の 行数 が一致しないと積は計算できません。また、$AB\ne BA$ が一般に成立(可換でない)。

単位行列と逆行列

「逆行列がない」(= 行列式が 0)ような行列は、列同士に 線形従属 がある状態。重回帰モデルでは、説明変数間に強い相関があると $X^{\top }X$ が逆行列を持ちにくくなり、推定が不安定になる ─ いわゆる 多重共線性 の問題です。

転置・対称行列

統計での使い場面 ─ 重回帰の正規方程式

重回帰モデル $\mathbf{y}=X\mathbf{\beta }+\mathbf{\epsilon }$ の最小二乗推定量は、

という、行列の積と逆行列だけ で書ける美しい形になります。スカラーの式 $\hat{\beta }=s_{xy}/s_x^2$(単回帰)と本質は同じ ─ 「分子 ÷ 分母」 ─ ですが、行列で書くことで一般の説明変数の数に拡張できます。

固有値・固有ベクトル(さわり)

主成分分析(PCA) は分散共分散行列 $\Sigma$ の固有値分解を行い、固有ベクトルを「主成分の方向」、固有値を「その方向の分散」として使います。固有値・固有ベクトルは線形代数の本格的な道具で、本格的な学習は専門書をどうぞ。本サイト準1級教科書の[主成分分析の節](/textbook/grade-pre1#ch3-sec3)では、概念面の解説をしています。

ここまでで「統計のための数学基礎」前半 4 章が出そろいました。割合・Σ・対数・微分積分・ベクトル・行列 ─ これらが手元にあれば、統計検定の式は怖くなくなります。続く 2 章は応用的内容です。

確率変数(random variable) は、ランダムな現象の結果に 数値を割り当てる関数。例: サイコロを振る → 出た目を数字で表す → 確率変数 $X\in \{1,2,3,4,5,6\}$。

離散と連続

• 離散確率変数: 取りうる値が飛び飛び(0, 1, 2, ...)。例: コイン投げの表回数
• 連続確率変数: 取りうる値が実数全体や区間。例: 身長・気温

確率質量関数(PMF)と確率密度関数(PDF)

確率変数を要約する 2 つの基本量。期待値は『重心』、分散は『散らばり』。

期待値の定義

「取りうる値 × その確率の和」という直感的な式。サイコロの期待値: $1\cdot \frac{1}{6}+2\cdot \frac{1}{6}+\cdots +6\cdot \frac{1}{6}=3.5$

期待値の重要な性質

• 線形性: $E[aX+b]=aE[X]+b$
• 和の期待値: $E[X+Y]=E[X]+E[Y]$(独立でなくても OK!)
• 独立な積: $E[XY]=E[X]E[Y]$(独立のときだけ)

分散の定義

期待値からのズレを 2 乗した平均。標準偏差は $\sigma =\sqrt{V[X]}$。

分散の重要な性質

• $V[aX+b]=a^{2}V[X]$(定数 $b$ は影響しない、$a$ は 2 乗で効く)
• 独立変数の和: $V[X+Y]=V[X]+V[Y]$(独立のときだけ!)
• 従属変数の和: $V[X+Y]=V[X]+V[Y]+2\mathrm{Cov}(X,Y)$

統計でよく使う分布の PMF / PDF・期待値・分散 をまとめます。

二項分布 Bin(n, p)

ポアソン分布 Po(λ)

正規分布 N(μ, σ²)

指数分布 Exp(λ)

$f(x,y)$ のような 複数変数 の関数の場合、『$x$ について微分』『$y$ について微分』のように 特定の変数だけ動かして 微分するのが 偏微分(partial derivative)。

記号と計算

例: $f(x,y)=x^2+3xy+y^2$ のとき

勾配ベクトル(Gradient)

合成関数の微分。深層学習の誤差逆伝播法はこれの応用。

1 変数の連鎖律

例: $h(x)=(3x+1{)}^5$ のとき、$f(u)=u^5$, $g(x)=3x+1$ と分けて、$h^{\prime }(x)=5(3x+1{)}^4\cdot 3=15(3x+1{)}^4$

多変数の連鎖律

ヘッセ行列(Hessian)─ 2 階偏微分の行列

制約付き最適化 の道具。「$g(x,y)=0$ という制約のもとで $f(x,y)$ を最大化(最小化)せよ」というタイプの問題を解く。

アイデア

ラグランジュ関数 $L(x,y,\lambda )=f(x,y)-\lambda g(x,y)$ を作り、すべての偏微分を 0 にする方程式を解く。

応用例

• SVM: マージン最大化(制約 = 全データを正しく分類)
• PCA: 分散最大化(制約 = ノルム = 1)
• ポートフォリオ最適化: リターン最大化(制約 = リスク ≤ X)
• 情報量最大化: エントロピー最大化(制約 = 確率の和 = 1)

まとめ

確率の数学(Ch5)+ 多変数の微分(Ch6)── これで統計検定 2 級・準 1 級・E 資格までの 数学的下地 がほぼ揃いました。続く 7 章では、AI/機械学習で必須となる 線形代数の発展(固有値・対角化・SVD) に進みます。

$n\times n$ の正方行列 $A$ と非ゼロベクトル $\mathbf{v}$ について、$A\mathbf{v}=\lambda \mathbf{v}$ となる スカラー $\lambda$ が存在するとき、$\lambda$ を 固有値、$\mathbf{v}$ を 固有ベクトル と呼びます。

固有値の求め方

固有値の重要な性質

• トレース = 固有値の和: $\mathrm{tr}(A)=\sum {\lambda }_i$
• 行列式 = 固有値の積: $\det (A)=\prod {\lambda }_i$
• $A$ が逆行列をもつ ⇔ すべての固有値が非ゼロ
• 対称行列($A^{\top }=A$)の固有値はすべて 実数、固有ベクトルは互いに 直交 する
• 正定値行列(対称かつすべて正の固有値)は二次形式 ${\mathbf{x}}^{\top }A\mathbf{x}>0$ を満たす

$n$ 個の固有値・固有ベクトルが揃えば、行列 $A$ は 対角化 できます。これにより行列計算が劇的に簡単になります。

対角化の定義

行列のべき乗

直交行列による対角化

特異値分解(Singular Value Decomposition, SVD) は、対角化が `n×n` 正方行列に限られるのに対し、任意の $m\times n$ 行列 に拡張できる強力な分解。AI/ML の理論で最も重要な行列分解の一つです。

SVD の定義

低ランク近似

SVD の応用例

• PCA: 中心化したデータ行列の SVD = 共分散行列のスペクトル分解
• 画像圧縮: 写真行列を低ランク近似(可逆 JPEG とは別系統)
• Latent Semantic Analysis (LSA): 文書 × 単語行列を低ランク化 → 意味的類似度
• Netflix Prize: ユーザー × 映画の評価行列を低ランク補完(行列分解推薦)
• LoRA(Low-Rank Adaptation): 巨大言語モデルの fine-tuning で重み更新を低ランク行列で近似

二次形式(quadratic form) ${\mathbf{x}}^{\top }A\mathbf{x}$ は、最適化・統計・物理で頻出。正定値・半正定値・不定の分類は固有値で決まります。

二次形式の定義

正定値行列とその判定

応用 ─ 統計と最適化

• 共分散行列: 必ず半正定値。固有値は分散の最大化方向(PCA)
• ヘッセ行列: 多変数関数の極値判定に使用。正定値 → 極小、負定値 → 極大、不定 → 鞍点
• ニュートン法: 反復に $H^{-1}$ を使うので、正定値性が収束の鍵
• SVM の双対問題: 正定値カーネル行列 → 一意解
• ガウス分布の密度関数 $\propto \exp (-\frac{1}{2}{\mathbf{x}}^{\top }{\Sigma }^{-1}\mathbf{x})$ ─ 共分散逆行列が二次形式を作る

まとめ ─ 線形代数の地図

Ch4(基礎)→ Ch7(発展)で線形代数の主要道具が揃いました。ベクトル・行列・行列式 → 固有値・対角化 → SVD → 二次形式・正定値性。これらは PCA・回帰・最適化・ニューラルネット・推薦・画像処理 すべての基盤。E 資格・統計検定 2 級〜準 1 級・DS 検定の数学パートで頻出する AI 時代の必修教養 です。

コンピュータは実数を 浮動小数点 で近似的にしか表せません。$0.1+0.2\ne 0.3$ になる現象は有名で、統計計算でも同じ問題が現れます。

対数空間の計算

閉形式解が得られない方程式や最適化問題は、反復で近似解 を求めるしかない。ニュートン法と勾配降下法は、最適化の二大基本アルゴリズムです。

ニュートン法

勾配降下法(Gradient Descent)

モンテカルロ法(Monte Carlo) は乱数を使って数値解を得る一群の手法。閉形式の積分が不可能な高次元問題で必須です。

基本原理 ─ 大数の法則

代表的な応用

• π の近似: 単位正方形に乱数を打ち、円内に入る割合 × 4(教育的だが π を知る最古典例)
• 金融工学: オプション価格の経路依存型評価
• 物理: 統計力学・粒子シミュレーション
• ベイズ統計: MCMC で事後分布からサンプリング
• ML: モンテカルロ・ドロップアウトで予測の不確実性推定

MCMC ─ マルコフ連鎖モンテカルロ

MCMC は事後分布の正規化定数が不明でもサンプリングできる手法。Metropolis-Hastings・Gibbs サンプラー・HMC(NUTS)が主要アルゴリズム。Stan / PyMC / brms の中核です。準 1 級〜1 級レベルで深く扱います。

情報理論(information theory) はクロード・シャノンが 1948 年に体系化した、確率と情報を結ぶ理論。機械学習・通信・暗号・統計の中核に組み込まれています。

自己情報量

シャノン エントロピー

2 つの分布の 距離(に近いもの) を測る情報理論的指標。機械学習の損失関数として中心的役割を果たします。

KL ダイバージェンス

交差エントロピー

相互情報量(mutual information) は 2 変数の 依存度 を情報理論的に測る指標。線形依存しか捉えない相関係数を超えて、任意の依存関係 を捉えます。

相互情報量の定義

情報量規準と AIC・BIC・WAIC