情報理論 - 拡大情報源

情報源の2次拡大

2次拡大情報源S²とは、元の情報源Sを2回連続で使用した場合に得られる新しい情報源のことである。
つまり、2シンボル分の組み合わせを考えた情報源である。

例えば、情報源 $S={\begin{Bmatrix}0&1\\0.80&0.20\end{Bmatrix}}$ があるとする。
この情報源は、1回の試行での出力確率を表している。

2次拡大では、2回連続の試行を考えるため、

• 1回目の試行において、0.80の確率で出力0、0.20の確率で出力1
• 2回目の試行においても同様、0.80の確率で出力0、0.20の確率で出力1

これらの組み合わせの確率は、各試行が独立であることを利用して乗法で計算することができる。

• $P(00)=0.80\times 0.80=0.64\quad$ (1回目で0, 2回目で0)
• $P(01)=0.80\times 0.20=0.16\quad$ (1回目で0, 2回目で1)
• $P(10)=0.20\times 0.80=0.16\quad$ (1回目で1, 2回目で0)
• $P(11)=0.20\times 0.20=0.04\quad$ (1回目で1, 2回目で1)

したがって、二次拡大情報源S²は、$S^{2}={\begin{Bmatrix}00&0.64\\01&0.16\\10&0.16\\11&0.04\end{Bmatrix}}$ という形で表現できる。

これは、通信システムで2シンボル単位でデータを扱う場合や連続する2つのイベントの関係を分析する時に使用される。 拡大情報源を考えることにより、情報源の特性を深く理解することや効率的な符号化方式を設計することが可能になる。

2次拡大情報源のエントロピー

情報源 $S={\begin{Bmatrix}0&1\\0.80&0.20\end{Bmatrix}}$ があるとする。

この時、2次拡大情報源のエントロピー $H(S^{2})$ は、次式で求めることができる。

${\begin{aligned}H(S^{2})&=-(0.64log_{2}0.64+0.16log_{2}0.16+0.16log_{2}0.16+0.04log_{2}0.04)\\&\approx 1.444{\mbox{[bit]}}\end{aligned}}$

2次拡大情報源において、元の情報源のエントロピー $H(S)=0.722{\mbox{[bit]}}$ の約2倍となっていることがわかる。
これは、二次拡大情報源が2回の独立した試行を表現しているためである。