对于欠拟合模型，训练误差较大，测试误差较大。

在混淆矩阵中，当TP增加（减少）时，FP也会跟增加（减少）。

损失函数与模型函数是一回事。

逻辑回归当中也可以加入正则项用于避免过拟合。

朴素贝叶斯分类器假设样本特征之间相互独立。

回归和分类都是有监督学习分类问题。

在画ROC曲线时，通常以FP作为纵坐标，TP（FN）作为横坐标。

支持向量是指分布在样本簇边缘的样本点。

梯度下降，就是沿着函数的梯度（导数）⽅向更新⾃变量，使得函数的取值越来越⼩，直⾄达到全局最⼩或者局部最⼩。

Sigmoid,tanh和Softmax这些激活函数在网络层数加深时，都不能避免梯度消失的问题。

k近邻法(k-Nearest Neighbor,kNN)是一种比较成熟也是最简单的机器学习算法,可以用于分类,但不能用于回归方法。

最优分类超平面一般对分类样本有较强的容忍误差。

由机器学习算法构成的模型，在理论层面上，它并不能表征真正的数据分布函数，只是逼近它而已。

训练误差会随着模型复杂度的上升不断减小。

逻辑回归的特征一定是离散的。

逻辑回归是一种广义线性回归，通过回归对数几率的方式将线性回归应用于分类任务。

通过计算模型的对样本识别率，就可以完全确定模型性能的好坏。

对决策树进行剪枝可以减少决策树的复杂度，提高决策树的专一性能力。

朴素贝叶斯适用于小规模数据集，逻辑回归适用于大规模数据集。

寻找最优超参数费时费力，应该在模型训练之前就指定最优参数。

SVM中核函数将高维空间中的数据映射到低维空间。

网格搜索是一种参数调节的方法。

二分类过程中，我们可将任意类别设为正例。

在距离度量中，最常⽤的是“闵可夫斯基距离”。当p=2时，闵可夫斯基距离就是欧式距离，当p=1时，闵可夫斯基距离就是曼哈顿距离。

多项式回归当中，模型的公式中存在平方项，因此其不是线性的。

SVM是这样一个分类器,他寻找具有最小边缘的超平面,因此它也经常被称为最小间隔分类器。

关于机器学习算法的理性认识，其本质就是得到一个输出，使得输出与真实结果尽可能的接近。

k-NN算法在测试时间而不是训练时间上进行了更多的计算。

分类和回归是预测问题的两种主要任务类型，分类的输出是离散的类别值，而回归的输出是连续数值

集成模型随机森林的底层是ID3树。

我们描述住房的时候，常用住宅面积，户型，装修类型等属性，如果使用朴素贝叶斯作为模型的话，则我们假设属性之间不存在关系。

支持向量机无法分割非线性数据集。

机器学习是深度学习的一部分。人工智能也是深度学习的一部分。

K折交叉验证是指将测试数据集划分成K个子数据集。

相比于传统基于规则的方法，机器学习算法所应对的问题规模大，规则比较简单。

实际项目中，在构建模型之前，数据清理与特征工程是非常重要的。

决策树的节点有两种类型：内部节点和叶节点。内部节点表示一个特征或属性，叶节点表示一个类。

PCA(即主成分分析)是一种有监督的降维方法。

独热编码是一种定序型编码方式。

多个logistic回归通过叠加也同样可以实现多分类的效果，多个logistic回归进行多分类，类与类之间是互斥的，即一个输入只能被归为一类。

K最邻近算法的核心思想是“近朱者赤，近墨者黑”,逻辑上十分简单。