ガウス雑音がある通信路の通信路容量 を証明します。以下は、甘利俊一著「情報理論」に書いてあることをまとめたものです。証明のポイントは2つです。 加法的雑音があるとき、通信路容量の式が となることと、 平均電力が与えられたときの最大エントロピーが…

読者の宿題、atom-countを書いてみた。 (defun atom-count (x) (cond ((atom x) 1) (t (atom-count2 x)))) (defun atom-count2 (x) (cond ((null x) 0) ((atom (car x)) (1+ (atom-count2 (cdr x)))) (t (+ (atom-count2 (car x)) (atom-count2 (cdr x))))))

定常情報源のエントロピーレートには2つの表し方があります。 1つは で、もう1つは です。 この2つの極限が等しいことを示します。 まず、以下が成り立ちます。これをチェインルールといいます。 すなわち です。 ここで、条件が多くなるとエントロピーが小…