13,230
回編集
→条件付きエントロピー
(ページの作成:「== 概要 == 相互情報量 (Mutual Information) は、2つの確率変数間の相互依存性を定量化する指標のことである。<br> <br> 相互情報量I(X;Y)は、2つの確率変数XとY間の依存関係の強さを測る尺度であり、次式で表される。<br> <math>I(X;Y) = \sum \left( p(x, y) \log_{2} \dfrac{p(x,y)}{p(x)p(y)} \right)</math> <br> 上式は、確率変数XとYの同時確率分布p(x,y)と、それぞれの周辺確率分布…」) |
|||
| 90行目: | 90行目: | ||
<br> | <br> | ||
例題: | 例題: | ||
サイコロを1回振る時の事象をAとする。 | |||
サイコロの目が4以上である事象をBとする。 | |||
この時、条件付きエントロピー <math>H(A|B)</math> を求めよ。 | この時、条件付きエントロピー <math>H(A|B)</math> を求めよ。 | ||
| 96行目: | 97行目: | ||
事象Bが4以上かつ事象Aに4が出る確率は、<math>P(a = 4, \, b \ge 4) = \dfrac{1}{6}</math> | 事象Bが4以上かつ事象Aに4が出る確率は、<math>P(a = 4, \, b \ge 4) = \dfrac{1}{6}</math> | ||
事象Bが4以上であることが判明している上で、事象Aに4の出目が出る確率は、<math>P(a = 4 | b \ge 4) = \dfrac{1}{3}</math> | |||
事象Bが4以上かつ事象Aに5, 6が出る確率 | 事象Bが4以上かつ事象Aに5, 6が出る確率 | ||
および | および | ||
事象Bが3以下 かつ 事象Aに1, 2, | 事象Bが3以下 かつ 事象Aに1, 2, 3が出る確率も上記と同様に考えればよい。 | ||
<math>H(A|B) = - \sum_{A} \sum_{B} P(a, b) \log_{2} P(a|b)</math> から | <math>H(A|B) = - \sum_{A} \sum_{B} P(a, b) \log_{2} P(a|b)</math> から | ||
<math> | <math> | ||