13,000
回編集
「情報理論 - 通信路符号化」の版間の差分
ナビゲーションに移動
検索に移動
→二元対称消失通信路
| 210行目: | 210行目: | ||
== 二元対称消失通信路 == | == 二元対称消失通信路 == | ||
==== 二元対称消失通信路とは ==== | |||
二元対称消失通信路 (Binary Erasure Channel: BEC) は、ビットが完全に消失する可能性のある通信路をモデル化する。<br> | 二元対称消失通信路 (Binary Erasure Channel: BEC) は、ビットが完全に消失する可能性のある通信路をモデル化する。<br> | ||
<br> | |||
二元対称消失通信路の特徴<br> | |||
* 誤りの検出が容易である。(消失位置が既知) | |||
* 理論解析が簡単である。 | |||
* 符号の性能評価に有効である。 | |||
<br> | |||
応用例<br> | |||
* パケット通信のモデル化 | |||
* インターネット通信の解析 | |||
* 消失訂正符号の設計 | |||
<br> | |||
[[ファイル:Information Theory Communication Channel Coding 2.png|フレームなし|中央]] | |||
<br> | <br> | ||
* 入力 | * 入力 | ||
*: 0, 1 | *: 0, 1 | ||
* 出力 | * 出力 | ||
*: 0, 1, 消失記号 ( | *: 0, 1, 消失記号 (ε) | ||
* 消失確率 | * 消失確率 | ||
*: <math>\varepsilon (0 < \varepsilon < 1)</math> | *: <math>\varepsilon (0 < \varepsilon < 1)</math> | ||
* 正しく伝送される確率 | * 正しく伝送される確率 | ||
*: <math>1 - \varepsilon</math> | *: <math>1 - p -\varepsilon</math> | ||
<br> | <br> | ||
遷移確率<br> | 遷移確率<br> | ||
* <math>P(Y = 0 | X = 0) = 1 - \varepsilon</math> | * <math>P(Y = 0 | X = 0) = 1 - p - \varepsilon</math> | ||
* <math>P(Y = \varepsilon | X = 0) = \varepsilon</math> | * <math>P(Y = \varepsilon | X = 0) = \varepsilon</math> | ||
* <math>P(Y = 1 | X = 1) = | * <math>P(Y = 1 | X = 0) = p</math> | ||
*: <br> | |||
* <math>P(Y = 0 | X = 1) = p</math> | |||
* <math>P(Y = \varepsilon | X = 1) = \varepsilon</math> | * <math>P(Y = \varepsilon | X = 1) = \varepsilon</math> | ||
* <math>P(Y = 1 | X = 1) = 1 - p - \varepsilon</math> | |||
<br> | <br> | ||
これらの遷移確率は、二元対称消失通信路の特性を表しており、各状態からの遷移確率の合計は1になる。<br> | |||
二元対称消失通信路は対称的な性質を持っており、入力が0の場合と1の場合で対称的な遷移確率を持つ。<br> | |||
* 入力 X = 0 の場合 | |||
*: <math>(1 - p - \varepsilon) + \varepsilon + p = 1</math> | |||
* 入力 X = 1 の場合 | |||
*: <math>p + \varepsilon + (1 - p - \varepsilon) = 1</math> | |||
<br> | <br> | ||
==== 二元対称消失通信路の通信路容量 ==== | |||
二元対称消失通信路の通信路容量は、<math>C = 1 - H(\varepsilon)</math> で表される。<br> | |||
ここで、H(ε)は2値エントロピー関数であり、<math>H(\varepsilon) = -\varepsilon \log_{2}(\varepsilon) - (1 - \varepsilon) \log_{2}(1 - \varepsilon)</math> で表される。<br> | |||
<br> | |||
この式は、消失確率εが増加すると容量が減少することを示している。<br> | |||
<math>\varepsilon = 0</math> の時の通信路容量は1、<math>\varepsilon = 1</math> の時の通信路容量は0となる。<br> | |||
<br> | <br> | ||
導出過程: | |||
通信路容量は、相互情報量I(X;Y)の最大値として定義される。 | |||
<math>C = \mbox{max} I(X;Y)</math> | |||
二元対称消失通信路の場合、入力分布が一様分布 <math>(P(X = 0) = P(X = 1) = \dfrac{1}{2})</math> の時に最大になる。 | |||
相互情報量は以下のように展開できる。 | |||
<math> I(X;Y) = H(Y) - H(Y|X)</math> | |||
二元対称消失通信路では、<math>H(Y|X) = H(\varepsilon)</math> となる。 | |||
これは、各入力に対して確率εで消失することを表している。 | |||
最適な入力分布 (一様分布) の時、<math>H(Y) = 1</math> となる。 | |||
したがって、通信路容量は次式となる。 | |||
<math> C = H(Y) - H(Y|X) = 1 - H(\varepsilon)</math> | |||
<br><br> | <br><br> | ||