entropy

Entropy (熵)

• Proof: Concavity of the Shannon entropy
• Lecture 1: Entropy, convexity, and matrix scaling
• 信息熵基础

Entropy 是凸函數

可以用二次偏微分證明之，或者用 霍夫曼編碼法是最短編碼 的證明來解釋。