ガウス雑音がある通信路の通信路容量

ガウス雑音がある通信路の通信路容量
C=Wlog(\frac{S+N}{N})
を証明します。以下は、甘利俊一著「情報理論」に書いてあることをまとめたものです。

証明のポイントは2つです。
加法的雑音があるとき、通信路容量の式が
C=\frac{1}{T}\max_{p(\vec{x})}\left( H(Y)-H(Y|X) \right)=\frac{1}{T}\max_{p(\vec{x})}H(Y)-\frac{1}{T}H(N)
となることと、
平均電力 Pが与えられたときの最大エントロピーが
H(X)=2WTlog\sqrt{2\pi eP}
となることです。

それでは、証明してみます。
標本化定理より、最大周波数 Wの送信信号 x(t)は
x(t)=\sum_i x_i a_i(t)=\sum_i x(\frac{i}{2W})\frac{sin \pi(2Wt-i)}{\pi(2Wt-i)}
と表せます。
a_i(t)=\frac{sin \pi(2Wt-i)}{\pi(2Wt-i)}
は、標本化関数で直交完全系をなします。但し、ノルムの2乗は \frac{1}{2W}です。
\int_0^T a_i(t)^2 dt = \frac{1}{2W}
x(t)は x_iを成分とするベクトル \vec{x}で表せます。このベクトルの次元 nは T/(\frac{1}{2W})=2WTです。
受信信号 y(t)も同様に \vec{y}で表し、雑音信号 n(t)も同様に \vec{n}で表します。
y(t) = x(t) + n(t)
なので、
\vec{y}=\vec{x}+\vec{n}
となります。
通信路容量 Cは
C=\frac{1}{T}\max_{p(\vec{x})}\left(H(Y)-H(Y|X)\right)
です。ここで
H(Y|X)=-\iint p(\vec{x})q(\vec{y}-\vec{x})log q(\vec{y}-\vec{x}) d\vec{x} d\vec{y}
=-\int p(\vec{x})d\vec{x}\int q(\vec{y}-\vec{x})log q(\vec{y}-\vec{x})d\vec{y}=H(N)
と書けます。加法的雑音の場合 p(\vec{y}|\vec{x})は雑音の確率分布 q(\vec{n})=q(\vec{y}-\vec{x})に等しいことを使いました。
よって、
C=\frac{1}{T}\max_{p(\vec{x})}H(Y)-\frac{1}{T}H(N)
となります。
受信信号の電力は
\frac{1}{T}\int_0^T y(t)^2 dt = \frac{1}{2WT}\vec{y}\cdot\vec{y}
=\frac{1}{2WT}(\vec{x}+\vec{n})\cdot(\vec{x}+\vec{n})
=\frac{1}{2WT}(\vec{x}\cdot\vec{x}+\vec{n}\cdot\vec{n})
送信信号と雑音信号が独立であること \vec{x}\cdot\vec{n}=0を使いました。
送信信号の平均電力を
\frac{1}{2WT}\overline{\vec{x}\cdot\vec{x}}=\frac{1}{2WT}\int\vec{x}\cdot\vec{x}p(\vec{x})d\vec{x}=S
とし、雑音信号の平均電力を
\frac{1}{2WT}\overline{\vec{n}\cdot\vec{n}}=\frac{1}{2WT}\int\vec{n}\cdot\vec{n}q(\vec{n})d\vec{n}=N
とすると、受信信号の平均電力は
\frac{1}{2WT}\overline{\vec{y}\cdot\vec{y}}=S+N
となります。
ここで、平均電力
\frac{1}{2WT}\overline{\vec{x}\cdot\vec{x}}=\frac{1}{2WT}\int \vec{x}\cdot\vec{x}p(\vec{x})d\vec{x}=P
が与えられているとき H(X)を最大化する p(\vec{x})を求めます。
ラグランジュの未定乗数 \lambda、 \muを導入した関数 Fを考えます。
F=-\int p(\vec{x})log p(\vec{x})d\vec{x}-\lambda\int p(\vec{x})d\vec{x}-\mu\int \vec{x}\cdot\vec{x}p(\vec{x})d\vec{x}
p(\vec{x})\to p(\vec{x})+\delta p(\vec{x})としたとき \delta F=0となる p(\vec{x})は
\delta F=-\int(log p(\vec{x}) + 1 + \lambda + \mu \vec{x}\cdot\vec{x})\delta p(\vec{x})d\vec{x}=0
より、
log p(\vec{x}) + 1 + \lambda + \mu \vec{x}\cdot\vec{x}=0
すなわち
p(\vec{x})=\frac{1}{(\sqrt{2\pi P})^{2WT}}e(-\frac{\vec{x}\cdot\vec{x}}{2P})
となります。
このときエントロピーは
H(X)=-\int p(\vec{x})log p(\vec{x})d\vec{x}=2WTlog\sqrt{2\pi e P}
となります。
よって、通信路容量は
C=\frac{2WT}{T}log\sqrt{2\pi e(S+N)}-\frac{1}{T}H(N)
となります。雑音がガウス雑音のとき、雑音信号の確率分布は
q(\vec{n})=\frac{1}{(\sqrt{2\pi N})^{2WT}}e(-\frac{\vec{x}\cdot\vec{x}}{2N})
なので、
H(N)=2WTlog\sqrt{2\pi e N}
となり、
C=\frac{2WT}{T}log\sqrt{2\pi e(S+N)}-\frac{2WT}{T}log\sqrt{2\pi e N}=Wlog\frac{S+N}{N}
と示せました。