信息论期末总结.docx

消息中包含信息，消息是信息的载体。信息：信息是对事物运动状态或存在方式的不确定性的描述。通信的过程就是消除不确定性的过程。信息与概率的关系：事件发生的概率越大，该事件包含的信息量越小；如果一个事件发生的概率为1那么它包含的信息量为0；两个相互独立事件所提供的信息量应等于它们各自提供的信息量之和。某个消息的不确定性含有的信息量可以表示为：I(x)-loglogp(x)信源的平均不确定性：H(X)2(门()p(xi)H(X)=乙p(x)logp(x)ii信源发出的消息的统计特性离散信源、连续信源、波形信源有记忆信源和无记忆信源平稳信源和非平稳信源编码器的功能：将消息变成适合信道传输的信号编码器包括：1信源编码器2信道编码器3调制器信源编码器：去除信源消息中的冗余度，提高传输的有效性信道编码器：将信源编码后的符号加上冗余符号，提高传输的可靠性。调制器：功能：将信道编码后的符号变成适合信道传输的信号目的：提高传输效率信道的统计特性无噪声