基本概念1. 自信息、互信息、信息熵，编码与类型。事件集合 X 中的事件x=i的自信息定义为：简记：离散随机事件x=i和y=bj之间的互信息定义为：简记：离散信源X的熵定义为自信息的平均值,记为H(X) 编码与类型信源编码：将信源符号序列按一定的数学规律映射成由码符号组成的码序列的过程。信源译码：根据码序列恢复信源序列的过程。无失真信源编码：即信源符号可以通过编码序列无差错地恢复。（适用于离散信源的编码）限失真信源编码：信源符号不能通过编码序列无差错地恢复。（可以把差错限制在某一个限度内）信源编码的目的：提高传输有效性，即用尽可能短的码符号序列来代表信源符号。编码类型：概率匹配编码：信源符号的概率已知。n 分组码：先分组再编码。在分组码中，每一个码字仅与当前输入的信源符号组有关，与其他信源符号无关。包括：定长码、变长码（Huffman编码、费诺编码）n 非分组码：码序列中的符号与信源序列中的符号无确定的对应关系。例如算术编码。通用编码：信源符号的概率未知。 2. 马氏链、信源对于随机序列
