13,009
回編集
「情報理論 - 定常情報源」の版間の差分
ナビゲーションに移動
検索に移動
→情報源エントロピー
(ページの作成:「== 概要 == 定常情報源とは、時間的な特性が一定している情報の発生源を指す。<br> 例えば、シンボルの出現確率が時間によって変化せず、一定の統計的性質を保持している情報源のことを意味する。<br> <br> 定常情報源の特徴として、以下に示すような性質が挙げられる。<br> * 時間不変性 *: シンボルの出現確率が時間に依存せず、常に一定の確率分…」) |
|||
| 30行目: | 30行目: | ||
<br><br> | <br><br> | ||
== | == 定常情報源の結合確率分布 == | ||
記憶のない定常情報源における長さnの系列の結合確率分布は、次式で表すことができる。<br> | |||
<math>P_{X0} \cdots P_{Xn-1} (x_{0}, \cdots, x_{n-1} = \prod_{i=0}^{n-1} P_{X}(x_{i})</math> | |||
<br> | |||
例題: | |||
サイコロの出目において、 | |||
目が6の場合はa、それ以外の場合はbを出力する定常情報源Sが系列aabaを出力する確率を求めよ。 | |||
解答: | |||
<math>A = \{ a, b \}</math> の2元情報源で、かつ a, bの発生確率が <math>\dfrac{1}{6}, \, \, \dfrac{5}{6}</math> となる定常情報源になる。 | |||
したがって、<math>P(a, a, b, a) = \dfrac{1}{6} \times \dfrac{1}{6} \times \dfrac{5}{6} \times \dfrac{1}{6} = \dfrac{5}{1296}</math> | |||
<br><br> | |||
== 定常情報源のエントロピー == | |||
定常情報源エントロピーは、情報源から出力される1シンボルあたりの平均情報量を表す。<br> | |||
これは、情報源の不確実性を定量化する指標となる。<br> | これは、情報源の不確実性を定量化する指標となる。<br> | ||
<br> | <br> | ||