前提：在此只讨论监督学习的情况。
一、输入空间
说白了，就是输入所有可能取值的集合。可以是有限个元素的集合，也可以是整个欧式空间（欧几里得发明的一个特别的度量空间）。
二、输出空间
同理，这肯定是与输入空间相对应的。就是输出所有可能取值的集合。同样也是：可以是有限个元素的集合，也可以是整个欧式空间。
三、特征空间
每个具体的输入是一个实例，通常由特征向量表示。
特征向量：
其中，A是一个方阵，也就是行数和列数相同的矩阵；是一个不为零的向量，一般是列向量；是实数。
接着说哈，这时候，所有的特征向量存在的空间成为特征空间。并且特征空间的每一维对应于一个特征。
注：有时候假设输入空间和特征空间是相同的空间，但有时候也假设他们是不同的空间，把实例从输入空间映射到特征空间。
四、假设空间
就是包含所有可能的模型的集合。模型就是输入空间到输出空间的一个映射。
由于笔者学识有限，有不够准确的地方还望大家不吝指教，谢谢。
如果有侵权的地方一定改之。
参考：《统计学习方法》
