第3章作业答案改正

解：（1）由题目求得联合概率1/21/4，及Y的概率分布为：1/121/6py07/12p, y 

6/73/51。则5P/1X2/Y，进而：

1/72/5iHXxilogxi0.815bit/sym

H(X/Y)pxi,yjlogpxi/yjij

0.749bit/symH(Y/X)pxi,yjlogpyi/xjij

0.91bit/sym

IX;YHXHX/Y0.066bit/sym

Clog2H1/3, 2/3 （2）对称信道的信道容量为：

1122 1loglog3333 0.082bit/sym 当px0px11/2时达到此信道容量。

（3）信道的绝对冗余度=C-I(X;Y)=0.082-0.066=0.016 bit/sym 信道的相对冗余度=1-I/C=1-0.066/0.082=19.5%

3-2求下列各离散信道的容量（其条件概率P(Y|X)如下）：

1) Z信道 X Y 0 1 2) 可抹信道

0 1 ε 1 0 1-ε X Y 0 1 3) 非对称信道 X Y 0 1 4) 准对称信道 X Y 0 1

0 1/3 1/6 0 1-ε1-ε2 ε2 0 1/2 1/4 1 1/3 1/3 E ε1 ε1 1 ε2 1-ε1-ε2 1 1/2 3/4 2 1/6 1/6 3 1/6 1/3 解：（1）信道输出0、1的先验概率分别为p0、p1，p01p1

q0p0p11p11 q1p11

IX;YHYHY/X Hq0,q1pipijlogpijij

q0logq01q0log1q0p1H令

dIX;Y0，则有：

dp1 dq0dqdqdqlogq001logq11H0dp1dp1dp1dp1q0Hq1

1logq021q1HH令21A，则当q0q0A 1q0A时达到信道容量。 1ACAA111logloglogAA1A1A1A1A11AA1 loglog1A1A1A1AHlog1log11 log121log121 log11 bit/sym

（2）对于准对称信道，做划分112221

1121则Clog2H112,1,211log111log21 （3）设： 则： X P(x) 0 a j1 (1-a)

Y P(Y) 0 1 0.25+0.25a 0.75-0.25a HYpyjlogpyj 1a1a3a3aloglog4444HY/Xpxipyj/xilogpyj/xiij

11111133 alogalog1alog1alog

22224444 0.189a0.811IX;YHYHY/X 1a1a3a3a loglog0.189a0.8114444dIX;Y0  a0.488

da此时有：CImax0.049bit/sym

13（4）对于准对称信道，划分为：16111636   111336211111111111Clog2H,,,logloglog363 336636363 0.041big/sym

3-3 有一个二元对称信道，其信道转移概率如图所示。设该信道以1500个二元符号/s的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中p(0) = p(1) = 1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？

0 0.98 0

0.02 0.02 1 0.98 1 习题3-3图

解：对于对称信道，其信道容量有：

Clog2H0.02,0.98 10.02log0.02 0.8bit59sym/0.9 8log0.98 p(0) = p(1) = 1/2时达到此容量。

则信道中每秒传输的信息量I10.85915001288.5bit，而10秒钟传输14000个二元符号需要每秒传输的信息量为I21400bit，有I1I2，所以不能够完成传输。

3-4求如图所示信道的信道容量及其最佳输入概率分布。并求当＝0和1/2时的信道容量。

X 1 Y

0 0 1－

1 1  

2 2 1－

习题3-4图

100解：由图可得：信道的转移矩阵：P01 01 此信道矩阵是非奇异矩阵，又rs，则可利用方程组求解：

Pbj13j|aijPbj|ailogPbj|ai i1,2,3j13

10  1231log1log1log1log13210 21log1log 1log1log3进而有：

Clog2jj1log1log0 log222

log1211log1log1H log12

log1211

111CC21H1Pb1212121112C Pb221121 Pb23CPb 33而： Pbj得：

PaPbii13j|ai j1,2,3

Pb1Pa1 Pb2Pa21Pa3 PbPaPa1323所以：

Pa1Pb1

1121111 Pa2Pa3Pb2Pb31121当0时，此信道为一一对应信道，得：

当

1Clog3 Pa1Pa2Pa3

31时，得： 2Clog2, Pa111 Pa2Pa3 24

3-5信道如图所示，试问输入分布（1/2，0，1/2）能否使该信道达到信道容量。

Xa11Yb1a2a311习题3-5图b2b3

解：

1PY/X00则信道输出的概率分布为：

010 1q0p01,

q1p0p11p0p1p11p1, q211p0p1由信道容量定义：

CmaxIX;YmaxHYHY/Xpxpx

 maxHq0,q1,q2piPjilogPjipxij maxHq0,q1,q2p0H,11p0p1H,1pxpx maxHq0,q1,q21p1H,1IX;Y01logp01log1p0p1102p01p1p0IX;Y01log p11p1log1p0p11H0

p1p11p1Hlog 1pp11011p0H11221pH0A 1212Hp1A21H122A联立方程求解得：， 令，则 p1A12211p 2A1pH21122当A2时，P1/2, 0, 1/2，此时能够得到信道容量。

3-6在图片传输中，每帧约为2.25×106个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需信道的带宽（信噪功率比为30dB）。

解：每秒传输30帧图片的信息量为：

信道容量：

Ilog16bit/pixel2.25106pixel/frame30frame/s 2.710bit/s8

CWlog1SNRbit/s SNR30dB1000

Wlog110002.7108W2.70910Hz7

3-7设电话信号的信息率为5.6×104比特/秒，在一个噪声功率为N0=5×10-6毫瓦/赫、限频F、限输入功率P的高斯信道中传送，若F=4千赫，问无差错传输所需的最小功率P是多少瓦？若F→∞，则P是多少瓦？ 解：（1）F4kHz

PCFlog1NF0 4103log1 5.6104bit/sP

51094103P0.32766w （2）F，CP,

N0ln294 P5.610510ln21.9410w

3-8信道输入集{0,1}上定义费用函数f0＝f(0)=0，f1=f(1)=1，称∑pifi=F是平均费用，称pi受平均费用F制约的信道容量为信道费用函数，C(F)maxI(X;Y)，试求下列信道（ε

4pifiFE ε ε <1/2）的C(F)。 X Y 0 1

解；设x00 1-ε 0 1 0 1-ε pp0, px11p0，则q0p01, qE, q11p01

IX;YHYHY/XHp01, , 1p01H

又：

pfF, f00, f11，得：

iip01F,

q01F1, qE, q1F1

CFH1F1, , F1H

令

dCF0，得： dF1log11F1logF101F1 1log0F11F1F1F2

11CFH,,H2211 2logloglog1log122 1log2由CF的递增性，及

pfiiF可知：

1CF1log, FF2 CFH1F1, , F1H, FF0

3-9用Matlab编程实现信道容量的迭代算法，并自设信道参数和停止迭代的容差限，求出信道容量。（打印原文件、信道参数、停止迭代的容差限和信道容量）。 解：略