是信息论的基础理论香农三大定理是存在性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向香农第一定理是可变长无失真信源编码定理，香农第二定理是有噪信道编码定理，香农第三定理是保失。香农三大定理？更多详情请大家跟着小编一起来看看吧！
香农三大定理(1)
是信息论的基础理论。香农三大定理是存在性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。香农第一定理是可变长无失真信源编码定理，香农第二定理是有噪信道编码定理，香农第三定理是保失真度准则下的有失真信源编码定理。
香农第一定理
香农第一定理(可变长无失真信源编码定理)
设离散无记忆信源X包含N个符号{x1,x2,…,xi,..,xN}，信源发出K重符号序列，则此信源可发出N^k个不同的符号序列消息，其中第j个符号序列消息的出现概率为PKj，其信源编码后所得的二进制代码组长度为Bj，代码组的平均长度B为
B=PK1B1+PK2B2+…+PKN^kBN^k
当K趋于无限大时，B和信息量H(X)之间的关系为Bk=H(X)(K趋近无穷）
香农第一定理又称为无失真信源编码定理或变长码信源编码定理。
香农第一定理的意义：将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。
香农第二定理
香农第二定理（有噪信道编码定理）
有噪信道编码定理。当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。
设某信道有r个输入符号，s个输出符号，信道容量为C，当信道的信息传输率R<C，码长N足够长时，总可以在输入的集合中(含有r^N个长度为N的码符号序列)，找到M （(M<=2^(N(C-a)))，a为任意小的正数)个码字，分别代表M个等可能性的消息，组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率Pmin达到任意小。
公式：
注：B为信道带宽；SN为信噪比，通常用分贝（dB）表示。[1]
香农第三定理
香农第三定理（保失真度准则下的有失真信源编码定理）
保真度准则下的信源编码定理，或称有损信源编码定理。只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即D'<=D.
设R(D)为一离散无记忆信源的信息率失真函数，并且选定有限的失真函数，对于任意允许平均失真度D>=0，和任意小的a>0，以及任意足够长的码长N，则一定存在一种信源编码W，其码字个数为M<=EXP{N[R(D)+a]}，而编码后码的平均失真度D'(W)<=D+a。
香农三大定理(2)
具体如下：
香农信道编码定理： 为了使数据在传输过程 中不受噪声的影响， 必须对数据进行编码处 理。 香农在这一定理中提出了信道编码的必 要性和信息传输的极限理论，即当信噪比无 限大时， 信息传输速率达到最大值，即香农 极限。
香农采样定理：在数字信号处理领域， 为了 将连续信号转化为数字信号，必须对其进行 采样。 香农在这一定理中提出，要得到一个 完整的信号，采样频率必须高于信号频率的 两倍。
香农数据压缩定理： 在传输数据过程中， 为 了减少数据传输量， 必须对数据进行压缩。 香农在这一定理中提出， 在一定精度要求 下，信号的信息可以通过去除其中的冗余信 息来进行压缩， 达到有效的数据传输效果。 这三个定理在现代通信领域中有着广泛的应 用和重要的意义， 其中香农的信道编码定理 对于信息的传输速率改进和提高具有重要的 指导作用。
