2
信息熵的定义及物理含义
source link: https://blog.51cto.com/u_15736437/6075700
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
信息熵的定义及物理含义
精选 原创信源符号自信息的数学期望为信源的平均信息量——信息熵
注意: 是一个数, 不是随机变量.
Example 请计算下述离散无记忆二进制信源的信息熵。
Solution
信息熵的物理含义
1.信息熵H(X)表示信源输出后，每个消息（符号）所提供的平均信息量;
2.信息熵H(X)表示信源输出前，信源的平均不确定性;
3.用信息熵H(X)来表征变量X的随机性。
注: 信息熵不等于平均获得的信息量(仅是能提供的信息量)。一般情况下获得的信息量是两熵之差，而不是信息熵本身（获得的还是需要根据实际计算）。
Example:
甲地天气预报，
乙地天气预报
求：两地天气预报各自提供的平均信息量
比特/符号
比特/符号
- 甲地提供的平均信息量大于乙地。
甲、乙地天气预报为两极端情况:
比特/符号
比特/符号
- 信源是确定信源, 所以不存在不确定性, 信息熵等于零。
甲、乙地天气预报为两极端情况:
比特/符号
比特/符号
- 这种情况下,信源的不确定性最大,信息熵最大。
- 甲地比乙地提供更多的信息量。因为甲地可能出现的消 息数多于て地可能出现的消息数, 不确定性更大。
结论: 由上可知，信源熵大于等于0（若信源输出为确定符号)而小于等于log(N)（信源输出的不确定性最大)。
其中N为信源字符集元素的个数
Example 某信号带宽为4000Hz ，以奈奎斯特速率抽样。假设其抽样序列可以建模成一个字符集为A={-2,-1,0,1,2} 的DMS，相应的概率为{1/2,1/4,1/8,1/16,1/16},求信源的速率(b/s)
其中
为信息速率。
注：奈奎斯特抽样速率为
。信息速率Rb=平均信息量H(X)×码元率B（波特率），单位为bit/s。
参考文献：
- Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
- 周炯槃. 通信原理（第3版）[M\]. 北京：北京邮电大学出版社, 2008.
- 樊昌信, 曹丽娜. 通信原理（第7版） [M\]. 北京：国防工业出版社, 2012.
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK