信道容量

离散信道

是由输入字母表 X、输出字母表 Y 和概率转移矩阵 $p(y|x)$ 构成的系统，其中 $p(y|x)$ 表示发送字符 $x$ 的条件下收到字符 $y$ 的概率。

离散无记忆信道（DMC）

如果离散信道输出的概率分布仅依赖于它所对应的输入，而与先前信道的输入或输出条件独立，则称信道是独立的。DMC 的信道容量定义为：

$$C = \max_{p(x)} I(X;Y)$$

信道容量的几个例子

无噪声二元信道

任何一个传输的比特都能被无误差地接收到。信道容量 $C=1$。

二元对称信道（BSC）

这个信道的输入字符以概率 $p$ 互补。其信道容量是 $C=1-H(p)$。

码率

如果输入序列的长度为 $k$，而输出序列的长度为 $n$，则码率为：

$$r = \frac{k}{n}, \quad (r<1)$$

消息（Word）是一个字符序列。码字（Codewords）是由消息组成的向量。码（Code）是一组码字的集合。信道的 $(M,n)$ 码指的是将 $M$ 个消息生成长度为 $n$ 的码字的一种编码。$(M,n)$ 码的码率为：

$$R = \frac{\log M}{n}$$

单位为 “bits/传输”。

Example 3.4

The code $C = \{00000, 10100, 11110, 11001\}$ is a block code of block length $n = 5$. Here $q = 2$ (binary code), $n = 5$ and therefore $k = 2$ and $M = 4$.

汉明距离表示两个（相同长度）字对应位不同的数量。

线性码

具有以下属性：

• 两个码字的和同样属于码；
• 全 0 消息也是一个码字；
• 两个码字的最小汉明距离与任何非零码字的最小权重相等，即 $d^* = w^*$。

信道编码定理（香农第二定理）

对于 DMC，小于信道容量 $C$ 的所有码率都是可达的。具体来说，对任意码率 $R<C$，存在一个 $(2^{nR}, n)$ 码序列，它的最大误差概率为 $\lambda^{(n)} \rightarrow 0$。

重复码（Repetition Code）中每个输入被简单重复 $n$ 次，$n$ 为奇数。例如 $n=3$ 时：

$$0 \rightarrow 000, \quad 1 \rightarrow 111$$

它的码率为 $r = \frac{1}{n}$。其解码策略是多数解码（Majority Decoding）。

信道容量定理

频率为 $W\ \mathrm{Hz}$，被谱密度为 $N_0/2$ 的附加白噪声（AWGN）干扰的连续信道的信道容量是：

$$C = W \log_2 \left(1 + \frac{P}{N_0 W} \right) \ \mathrm{bits/second}$$

$P$ 是平均传输功率。