引言
A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.
- 有监督学习
- 分类问题
- 回归问题
- 无监督学习
- 强化学习
符号说明
假设空间 用 $F$ 表示
$$F=\{f|Y=f_θ(X),θ\in R^n\}$$
参数向量 $θ$ 取值于 $n$ 维欧氏空间 $R^n$，称为参数空间
模型 $f(X)$ 关于训练数据集的平均损失称为 经验风险 或经验损失
$$R_{emp}(f)=\frac1N\sum_{i=1}^NL(y_i,f(x_i))$$
评价指标
TP：正确的正例
FN：错误的负例
FP：错误的正例
TN：正确的负例
精确率
$$P=\frac{TP}{TP+FP}$$
召回率
$$R=\frac{TP}{TP+FN}$$
F1值
$$F1=\frac{2PR}{P+R}$$
一、概念学习
概念：可被看作一个对象或事件集合（或：这个较大集合中定义的布尔函数）。
概念学习：给定某一类别的若干正例和反例，从中 获得 该类别的 一般定义。
变型空间：与训练样例一致的所有假设组成的集合，表示了目标概念的所有合理的变型
一般边界G：假设空间H和训练数据D相一致的 极大一般 成员的集合。
特殊边界S：假设空间H和训练数据D相一致的 极大特殊 成员的集合。
机器学习的目标是寻找一个假设
h，使得对所有的x，都有h(x) = c(x)表示假设
- 形式：实例的 各属性约束的合取式
- 属性范围：
？本属性可接收任意值∅不接受任何值- 指定的属性值
搜索目标假设
- 在预定义的假设空间中搜索假设，使其与训练样例有最佳的拟合
- 利用假设空间的偏序结构（偏序：自反的，反对称的，传递的）
概念学习的方法
Find-S：寻找极大特殊假设candidate-elimination，候选消除算法- 变型空间被表示为极大一般和极大特殊的成员
- 输出与训练样例一致的所有假设的集合
无偏学习的无用性：学习器如果不对目标概念的形式做预先的假定，它从根本上无法对未见实例进行分类。
归纳学习需要预先假定，称为归纳偏置。
- 无偏的较大空间，有偏的算法（如梯度下降）
- 有偏的较小空间，，，穷尽搜索
一种算法的有偏性越强，他的归纳能力越强，可以分类更多的未见实例。
一些理解
特殊：属性可接收的值，变得越来越少，? -> 指定值 -> ∅
过拟合
学习时选择的模型所包含的参数过多，以至出现这一模型对已知数据预测得很好，但对未知数据预测得差的现象。
六、感知机
感知机时神经网络的起源算法，感知机接受多个输入信号，输出一个信号，
这里的信号可以理解为电流样“流动性”的东西，输入信号配以权重，用阈值$\theta$判定这个神经元是否被激活。
$$f(x;\theta)=sign(w\cdot x+b)$$
w: n维权重向量
b: 偏置
sign: 符号函数
H: 所有线性函数的集合
线性可分性、
八、集成学习
集成学习是指：把性能较低的多种弱学习器，通过适当组合而形成高性能的强学习器的方法。
- Bagging，bootstrap aggregating
- 随机森林
- Boosting
AdaBoost，Adaptive boosting- 提高那些被前一轮分类器错误分类样本的权值，降低被正确分类样本的权值
- 加大分类误差率小的弱分类器的权值，减小误差率大的弱分类器的权值
- Stacking
习题8.1
作业十
习题8.2
比较支持向量机、 AdaBoost 、Logistic回归模型的学习策略与算法
| 学习策略 | 学习算法 | |
|---|---|---|
| 支持向量机 | 极小化正则化合页损失，软间隔最大化； | 序列最小最优化算法（SMO） |
| AdaBoost | 极小化加法模型指数损失； | 前向分步加法算法 |
| Logistic回归 | 极大似然估计，正则化的极大似然估计； | 改进的迭代尺度算法，梯度下降，拟牛顿法 |
关于考试：
平时：期末 = 4：6
判断题，简答题
动手学深度学习》 读书笔记
1.去 pytorch官网
conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch
