『機械学習のための確率と統計 (機械学習プロフェッショナルシリーズ)
第1章 確率変数と確率分布
標本空間から確率分布に関する特性, モーメント, 特性関数までまとめられている。
特性関数は確率密度関数のフーリエ変換に対応している。特性関数と積率母関数は似た概念である。
大学時代にフーリエ解析の勉強をした時に, モーメントの話がでてきて唐突と感じたがここで話がつながった感じがした。
第2章 離散型確率分布の例
2.1 離散一様分布
2.2 二項分布
2.3 超幾何分布
2.4 ポアソン分布
2.5 負の二項分布
確率質量関数, E[x], V[x]を確認したい時に良さそう。
パラメータを変化させた時の分布が載っていて分かりやすい。
第3章 連続型確率分布の例
3.1 連続一様分布
3.2 正規分布
3.3 ガンマ分布, 指数分布, カイ二乗分布
3.4 ベータ分布
3.5 コーシー分布とラプラス分布
3.6 t分布とF分布
離散確率分布同様, 確率密度関数, E[x], V[x]を確認したい時に良さそう。
重積分も登場して数式を読み飛ばす箇所もでてきてしまった。
第4章 多次元確率分布の性質
次章以降の準備といった感じ。同時確率分布, 条件付き確率分布, 分割表[1], ベイズの定理, 共分散, 相関について。
第5章 多次元確率分布の例
5.1 多項分布
5.2 多次元正規分布
5.3 ディリクレ分布
5.4 ウィシャート分布
多次元確率分布になると数式だけでは理解が大変なので図が多くて助かる。
第6章 任意の確率分布に従う標本の生成
6.1 逆関数法
6.2 棄却法
6.3 MCMC
標本生成法について。詳細については文献として, 「PRML」と「マルコフ連鎖モンテカルロ法とその周辺」を勧めている。
第7章 独立な確率変数の和の確率分布
7.1 畳み込み
7.2 再生性
7.3 大数の法則
7.4 中心極限定理
大数の法則, 中心極限定理[2]は概念だけでわかっていた気になっていたので, 導出がわかったのが良かった。
第8章 確率不等式
確率不等式を用いると, 密度関数f(x)が与えらていない時でも, E[x], V[x]から確率の大きさを見積もることができる。
この章が一番難しかったというか, xxxの不等式というのが多すぎて挫折気味。
第9章 統計的推定
9.1 統計的推定の基礎
9.2 最尤推定
9.3 ベイズ推定
9.4 ノンパラメトリック推定
9.5 最小二乗法
9.6 モデル選択
9.7 信頼区間
この章は馴染みのある話題ですんなり読み進められた。個々の解説は長くはないが, 内容的に薄くはなかったと思う。
第10章 仮説検定
仮説検定は対象によって適用すべき検定が異なってきてとても覚えきれないが, こればっかりは数をこなして慣れるしかないかもしれない。
同時期に読んだオススメの書籍
データ解析のための統計モデリング入門 一般化線形モデル・階層ベイズモデル・ＭＣＭＣ
通称、みどり本。『機械学習のための確率と統計』の第2章, 第6章, 第9章に興味を持った方に特におすすめ。
言語処理のための機械学習入門 (自然言語処理シリーズ)
1章は『機械学習のための確率と統計』と内容が重なるが, 2章以降は n-gram やクラスタリングなど自然言語処理系の話に移っていく。logsumexpなど実装に役立つ話題もある。
はじめてのパターン認識
機械学習について幅広い内容を扱っている。
[1] 分割表は同時確率質量関数に対応している。
[2] もとの確率分布が何であろうと, 標本サイズnが充分に大きければ標本平均は正規分布にほぼ近づくという重要な性質。
[3] 多次元正規分布のパラメータの分散共分散行列は対称行列で対角成分は分散, 非対角成分は共分散を表す。例えば, 二次元正規分布で共分散が 0 でない場合, 変数間に相関があり楕円形となる。