在通原I中，我们知道通信需要信源、信道以及信宿，本章节主要讲述了信源、信息论的基本概念以及信源编码的相关知识。
一、 信源
1. 信源的概念及分类
信源是产生信息的源头，为了方便分析和描述，我们将信源分为两大类：模拟信源和数字信源。模拟信源也被成为连续信源，其输出可建模为模拟基带信号m(t)，对于模拟基带信号，我们的处理方式主要是数字化。而数字信源是离散信源，是我们重点讨论的部分，其输出建模为随机符号序列{𝑋1, 𝑋2,𝑋3, … ,𝑋𝐿}，对于随机符号序列，我们的处理主要是信源压缩，这就牵扯到我们在后面介绍的信源编码定理以及大数定律。不论是哪种信源，我们的最终信源的存储或传输端接收到的都是比特序列。
2. 数字信源的概率描述
下面，我们将重点讨论数字信源，数字信源的输出是符号序列，具体来说是字符取自某个字典（字符集）的字符串。如果字符集中不同的字符个数为n个——，那么字符为n进制字符，信源为n进制信源，具体输出为 。
由于数字信源的输出是随机符号序列，我们就需要研究其概率分布，首先，单个符号 的概率分布为
其中，X可以表示任何含义，重点不是X本身，而是X的概率分布。
有了单个符号的概率分布，我们可以进行一对符号概率分布的研究，一对符号可视为一个更大的符号，例如， 与 可等价看成。
以此类推，我们可以得出三个符号构成一个大符号，例如将硬币独立掷3次得到 ，整体是一个8进制符号，其样本空间是；若X是非均匀硬币的话，对应的的概率分布是，则可逐一算出Z的各种可能结果的出现概率，如 ，其概率分布为：