序言：本人在研一下学期选修了深度学习和机器学习课程，但只能算通过课程考核，对重要的核心思想理解甚微。故打算通过李宏毅老师的视频(2017和2021春）以及2014年斯坦福的机器学习教程重新理解并作此文，希望未来的科研在相关知识的理解和应用上有所精进，也希望本博客对志同道合的学习者有所助益。
（重点在个人理解，深度学习部分会更详细）
机器学习理念
希望机器和人一样聪明，提出人工智慧。希望机器有学习的能力，采用的手段就是机器学习。首先考虑生物的行为，它取决于两件事，一个是后天学习的结果，另一个是先天的本能。“先天的本能”可以理解成事先设计的规则，但是对于机器来说，过多的规则非常死板，它也不会超过设计它的人，这不是人工智慧。
不过，一个聪明的AI模型离不开优秀的AI训练师，模型的选择和评估指标的确定就是关键，所以我们需要学习机器学习。
机器学习的思路
（图片来自李老师视频）
machine learning所做的就是在寻找一个function，对于特定任务，要让机器拥有一个有效率的演算法，从function的set里面挑出最好的function。
机器学习相关技术
这里提及的相关技术，我理解为广义的分类。（个人认为深度学习也就是一种基于监督学习的框架方法）
- 监督学习，使用标记DATA
- 回归，输出一个值
- 分类，输出类别（方法分为）
- 线性模型
- 非线性模型
- 决策树，K-NN
- 深度学习
- 结构化学习
- 减少标注DATA的两种方法
- 半监督学习
- 迁移学习，考虑问题的相关性
- 无监督学习，没有标记数据，找到数据中的结构
- 聚类
- 鸡尾酒问题，SVD（斯坦福教程）
- 强化学习，没有data做监督学习
参考资料：
1.李宏毅老师视频 https://www.bilibili.com/video/BV1Ht411g7Ef