13,009
回編集
「情報理論 - 定常情報源」の版間の差分
ナビゲーションに移動
検索に移動
→エルゴード情報源
| 68行目: | 68行目: | ||
== エルゴード情報源 == | == エルゴード情報源 == | ||
==== エルゴード情報源とは ==== | |||
エルゴード情報源は、時間平均と空間平均 (アンサンブル平均) が一致するという性質がある。<br> | エルゴード情報源は、時間平均と空間平均 (アンサンブル平均) が一致するという性質がある。<br> | ||
<br> | <br> | ||
| 89行目: | 90行目: | ||
また、パターン認識や機械学習の分野でも、データの定常性とエルゴード性は重要な仮定となっている。<br> | また、パターン認識や機械学習の分野でも、データの定常性とエルゴード性は重要な仮定となっている。<br> | ||
これらの性質があることで、学習アルゴリズムの収束性が保証されて、実用的なシステムの構築が可能となる。<br> | これらの性質があることで、学習アルゴリズムの収束性が保証されて、実用的なシステムの構築が可能となる。<br> | ||
<br> | |||
==== 定常情報源におけるエルゴード情報源の計算例 ==== | |||
定常マルコフ情報源の例: | |||
文字列 {a, b} を出力する定常情報源において、遷移確率行列が以下に示す場合 | |||
<math>P(a|a) = 0.7, \, \, P(b|a) = 0.3</math> | |||
<math>P(a|b) = 0.4, \, \, P(b|b) = 0.6</math> | |||
<br> | |||
この情報源の定常性とエルゴード性の確認する。<br> | |||
定常分布の計算: | |||
<math>\pi(a) = 0.7 \pi(a) + 0.4 \pi(b)</math> | |||
<math>\pi(a) + \pi(b) = 1</math> | |||
したがって、 | |||
<math>\pi(a) = 0.57</math> | |||
<math>\pi(b) = 0.43</math> | |||
<br> | |||
次に、エルゴード性を確認する。<br> | |||
時間平均の計算: | |||
長さnの系列で'a'の出現回数/n : <math>0.57 (n \rightarrow \infty)</math> | |||
空間平均の計算: | |||
<math>\pi(a) = 0.57</math> | |||
両者が一致することから、エルゴード性が確認できる。 | |||
<br> | |||
定常二元情報源の例: | |||
{0, 1}を出力する定常情報源があり、出力確率が次のとき | |||
<math>P(0) = 0.6, \, \, P(1) = 0.4</math> | |||
時間平均は、長さnの出力系列中の'0'の出現頻度 : 0.6 | |||
空間平均は、確率 <math>P(0) = 0.6</math> | |||
両者が一致することから、エルゴード性を示している。 | |||
<br> | |||
例: 日本語文書の文字出現頻度分析の場合<br> | |||
* ある十分長い文書での「あ」の出現頻度（時間平均） | |||
* 多数の文書での「あ」の出現確率（空間平均） | |||
<br> | |||
これらが一致することを利用して、文字コードの効率的な設計が可能となる。<br> | |||
<br> | |||
上記の例から、エルゴード情報源の重要な特徴は、長時間の観測 (時間平均) と多数のサンプルの観測 (空間平均) が同じ結果をもたらすという点にある。<br> | |||
<br><br> | <br><br> | ||