定常情報源のエントロピーレート

定常情報源のエントロピーレートには2つの表し方があります。
1つは
$lim_{n \to \infty} \frac{H(X_1, \cdots , X_n)}{n}$
で、もう1つは
$lim_{n \to \infty} H(X_n | X_1, \cdots , X_{n-1})$
です。
この2つの極限が等しいことを示します。
まず、以下が成り立ちます。これをチェインルールといいます。
$H(X_1, \cdots , X_n) = H(X_1) + H(X_2|X_1) + H(X_3|X_1X_2) + \cdots + H(X_n|X_1, \cdots , X_{n-1})$
すなわち
$\frac{H(X_1, \cdots , X_n)}{n} = \frac{1}{n}\sum_{i=1}^{n}H(X_i|X_1, \cdots , X_{i-1})$
です。
ここで、条件が多くなるとエントロピーが小さくなるため、以下の式が成り立ちます。
$H(X_{i+1}|X_1 , \cdots , X_i) \geq H(X_{i+1} | X_2 , \cdots , X_i)$
上式の右辺は定常情報源の性質から以下となります。
$H(X_{i+1}| X_2 , \cdots , X_i) = H(X_i | X_1 , \cdots , X_{i-1})$ 　
上の2つの式から、 $H(X_i|X_1 , \cdots , X_{i-1})$ はiについて、単調非増加であることを示しています。このことと、エントロピーが非負であることから、極限 $lim_{n \to \infty} H(X_n | X_1, \cdots , X_{n-1}) = H^'$ が存在することがわかります。

極限が存在することがわかったので、2つの表現が等しいことを示します。
以下のチェザロ平均aというものの性質を使います。
$lim_{n \to \infty}a_n = a,\,\,\, b_n = \frac{1}{n}\sum_{i=1}^n a_i \Rightarrow lim_{n \to \infty}b_n=a$
$a_i$ を $H(X_i|X_1, \cdots , X_{i-1})$ とみなし、 $b_n$ を $\frac{H(X_n|X_1, \cdots , X_{n-1})}{n}$ とみなすと、
$lim_{n \to \infty} H(X_n|X_1, \cdots , X_{n-1}) = H^'$
が成り立つことがわかります。