判别模型和生成模型

  令$X$表示输入数据，$Y$表示类别标签，在预测类别时，一般都是在求 $P(Y|X)$，取其中概率最大的为最终预测的类别。

生成模型

  从数据中学习联合概率分布 $P(X, Y)$ ，然后利用贝叶斯公式求得 $P(Y|X)=\frac{P(Y)P(X|Y)}{P(X)}=\frac{P(X,Y)}{\sum P(X,Y_i)}$。

生成模型主要有：

• 朴素贝叶斯模型
• HMM（隐马尔科夫模型）
• GMM（高斯混合模型）
• LDA（隐含狄利克雷分布）

判别模型

  直接学习条件概率分布 $P(Y|X)$ ，即输入一个数据$X$，直接“判别”$Y$。

判别模型主要有：

• SVM（支持向量机）
• Logistic 回归（逻辑回归）
• KNN（K近邻）
• NN（神经网络）
• 决策树