视频字幕
信息论是由克劳德·香农在1948年创立的数学理论，用于研究信息的量化、存储和传输。它从日常生活中的信息传递开始，比如我们发送短信、打电话或者观看电视节目。信息论建立了一个基本的通信模型：信源产生信息，经过编码处理，通过信道传输，可能受到噪声干扰，最后经过解码到达信宿。这个理论广泛应用于通信、计算机科学、数据压缩等多个领域。
信息量的数学定义是I(x)等于负log以2为底P(x)的对数，其中P(x)是事件x发生的概率。这个公式表明，概率越小的事件包含的信息量越大。熵是所有可能事件信息量的加权平均，公式为H(X)等于负的概率乘以log概率的求和。以抛硬币为例，公平硬币每面概率都是0.5，其熵值为1比特，这是二元系统的最大熵值。
联合熵H(X,Y)表示两个随机变量X和Y的总体不确定性，其计算公式是所有联合概率乘以其对数的负和。条件熵H(Y|X)表示在已知X的条件下Y的剩余不确定性。这些概念可以用维恩图直观表示：两个圆分别代表H(X)和H(Y)，重叠部分代表互信息，非重叠部分代表条件熵。链式法则告诉我们联合熵等于边际熵加上条件熵。以天气和交通为例，知道天气信息可以减少对交通状况的不确定性。
互信息I(X;Y)量化了两个随机变量之间共享的信息量。它有多种等价定义：可以表示为H(X)减去H(X|Y)，也可以表示为H(Y)减去H(Y|X)，还可以表示为H(X)加H(Y)减去H(X,Y)。在维恩图中，互信息对应两个圆的重叠部分，表示两个变量的共同信息。互信息具有对称性，即I(X;Y)等于I(Y;X)，同时具有非负性。在通信系统中，互信息表示发送信号和接收信号之间的信息传输量，是衡量通信质量的重要指标。
信道容量定义为所有可能输入分布下互信息的最大值，表示信道能够可靠传输信息的最大速率。对于二进制对称信道BSC，其容量为1减去错误概率的熵函数。对于二进制擦除信道BEC，其容量为1减去擦除概率。图中显示了这两种信道容量随错误概率的变化关系。香农第二定理告诉我们，当传输速率小于信道容量时，通过适当的编码可以实现任意小的错误概率，这为现代通信系统的设计提供了理论基础。