机器学习高阶训练营知识点一览

2019/11/12 15:42
阅读数 54

第一阶段 机器学习基础与凸优化

 【核心知识点】

- KNN,Weighted KNN、近似KNN

- KD树,近似KD树、哈希算法、LSH

- 岭回归、LASSO、ElasticNet

- 正则:L1, L2, L-inifity Norm

- LR、GD、SGD、小批量SGD

- 凸集,凸函数、判定凸函数

- LP、QP、ILP、SDP问题

- Duality,Strong Duality、KKT条件

- 带条件/无条件优化问题、Projected GD

- 平滑函数、Convergence Analysis

第二阶段 SVM与集成模型

【核心知识点】

- Max-Margin与线性SVM构建

- Slack Variable以及条件的松弛

- SVM的Dual、Kernelized SVM

- Kernel Functions, Mercer 定理

- Kernelized LR/KNN/K-Means/PCA

- Bagging, Boosting, Stacking

- 信息论与决策树- 随机森林,完全随机森林

- 基于残差的提升树训练思想- GBDT与XGBoost

- 集成不同类型的模型

- VC理论, PAC Learning

第三阶段 无监督学习与序列模型

【核心知识点】

- K-means、GMM以及EM

- 层次聚类,DCSCAN,Spectral聚类算法

- 隐变量与隐变量模型、Partition函数

- 条件独立、D-Separation、Markov性质

- HMM以及基于Viterbi的Decoding

- Forward/Backward算法

- 基于EM算法的参数估计

- 有向图与无向图模型区别

- Log-Linear Model,逻辑回归,特征函数

- MEMM与Label Bias问题

- Linear CRF以及参数估计

第四阶段 深度学习

【核心知识点】

- 神经网络与激活函数

- BP算法、卷积层、Pooling层、全连接层

- 卷积神经网络、常用的CNN结构

- Dropout与Batch Normalization

- SGD、Adam、Adagrad算法

- RNN与梯度消失、LSTM与GRU

- Seq2Seq模型与注意力机制

- Word2Vec, Elmo, Bert, XLNet

- 深度学习中的调参技术

- 深度学习与图嵌入(Graph Embedding)

- Translating Embedding (TransE)

- Node2Vec

- Graph Convolutional Network

- Graph Neural Network

- Dynamic Graph Embedding

【部分案例讲解】

- 基于Seq2Seq和注意力机制的机器翻译

- 基于TransE和GCN的知识图谱推理

- 基于CNN的人脸关键点检测

第五阶段 推荐系统与在线学习

. 基于内容的推荐算法

. 基于协同过滤的推荐算法

. 矩阵分解

. 基于内容的Gradient Tree

. 基于深度学习的推荐算法

. 冷启动问题的处理

. Exploration vs Exploitation

. Multi-armed Bandit

. UCB1 algorithm,EXP3 algorithm

. Adversarial Bandit model

. Contexulalized Bandit

. LinUCB

. 使用Gradient Boosting Tree做基于 interaction 与 content的广告推荐

. 使用深度神经网络做基于interaction 与 content的推荐

. LinUCB做新闻推荐, 最大化rewards

第六阶段 贝叶斯模型

【核心知识点】

. 主题模型(LDA) 以及生成过程

. Dirichlet Distribution, Multinomial Distribution

. 蒙特卡洛与MCMC

. Metropolis Hasting与Gibbs Sampling

. 使用Collapsed Gibbs Sampler求解LDA

. Mean-field variational Inference

. 使用VI求解LDA

. Stochastic Optimization与Bayesian Inference

. 利用SLGD和SVI求解LDA

. 基于分布式计算的贝叶斯模型求解

. 随机过程与无参模型(non-parametric)

. Chinese Retarant Process

. Stick Breaking Process

. Stochastic Block Model与MMSB

. 基于SGLD与SVI的MMSB求解

. Bayesian Deep Learning模型

. Deep Generative Model

. 基于Bayesian LSTM的文本分析

. 使用无参主题模型做文本分类

. 基于贝叶斯模型实现小数量的图像识别

第七阶段 增强学习与其他前沿主题

【核心知识点】

. Policy Learning

. Deep RL

. Variational Autoencoder(VAE)与求解

. 隐变量的Disentangling

. 图像的生成以及Disentangling

. 文本的生成以及Disentangling

. Generative Adversial Network(GAN)

. CycleGan

. 深度学习的可解释性

. Deconvolution与图像特征的解释

. Layer-wise Propagation

. Adversial Machine Learning

. Purturbation Analysis

. Fair Learning

【部分案例讲解】:

. 基于GAN的图像生成

. 基于VAE的文本Style Transfer

. 可视化机器翻译系统

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部