当前位置: 首页>编程语言>正文

python贝叶斯检验 贝叶斯检验的基本步骤

朴素贝叶斯(naive Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单,学习与预测的效率都很高,是一种常用的方法。

朴素贝叶斯法的学习与分类

1. 基本方法

设输入空间python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_机器学习,第1张为n维向量的集合,输出空间为类标记集合python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_python贝叶斯检验_02,第2张。输入为特征向量python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_概率分布_03,第3张,输出为类标记(class label)python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_朴素贝叶斯_04,第4张。X是定义在输入空间python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_朴素贝叶斯_05,第5张上的随机向量,Y是定义在输出空间python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_朴素贝叶斯_06,第6张上的随机变量。python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_机器学习_07,第7张python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_朴素贝叶斯_08,第8张python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_数据集_09,第9张的联合概率分布。训练数据集
python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_python贝叶斯检验_10,第10张
python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_机器学习_07,第7张独立同分布产生。

朴素贝叶斯法通过训练数据集学习联合概率分布python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_机器学习_07,第7张。具体地,学习以下先验概率分布条件概率分布。先验概率分布
python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_概率分布_13,第13张
条件概率分布
python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_数据集_14,第14张
于是学到联合概率分布python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_机器学习_07,第7张.

条件概率分布python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_朴素贝叶斯_16,第16张有指数级数量的参数,其估计实际是不可行的。事实上,假设python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_概率分布_17,第17张可取值有python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_概率分布_18,第18张个,python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_概率分布_19,第19张,Y可取值有K个,那么参数个数为python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_机器学习_20,第20张

朴素贝叶斯法对条件概率分布作了条件独立性的假设。由于这是一个较强的假设,朴素贝叶斯法也由此得名。具体地,条件独立性假设是
python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_朴素贝叶斯_21,第21张
朴素贝叶斯法实际上学习到生成数据的机制,所以属于生成模型。条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。这一假设使朴素贝叶斯法变得简单,但有时会牺牲一定的分类准确率。

朴素贝叶斯法分类时,对给定的输入x,通过学习到的模型计算后验概率分布python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_python贝叶斯检验_22,第22张,将后验概率最大的类作为x的类输出。后验概率计算根据贝叶斯定理进行:
python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_数据集_23,第23张
将(1)式代入(2)式,有
python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_机器学习_24,第24张
这是朴素贝叶斯法分类的基本公式。于是,朴素贝叶斯分类器可表示为
python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_数据集_25,第25张
注意到,在上式(3)中分母对所有python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_概率分布_26,第26张都是相同的,所以
python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_朴素贝叶斯_27,第27张

2. 后验概率最大化的含义

朴素贝叶斯法将实例分到后验概率最大的类中。这等价于期望风险最小化。假设选择0-1损失函数:
python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_数据集_28,第28张
式中python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_数据集_29,第29张是分类决策函数。这时,期望风险函数为
python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_概率分布_30,第30张
期望是对联合分布python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_机器学习_07,第7张取的。由此取条件期望
python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_机器学习_32,第32张
为了使期望风险最小化,只需对python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_数据集_33,第33张逐个极小化,由此得到:
python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_数据集_34,第34张
这样一来,根据期望风险最小化准则就得到了后验概率最大化准则:
python贝叶斯检验 贝叶斯检验的基本步骤,python贝叶斯检验 贝叶斯检验的基本步骤_概率分布_35,第35张
即朴素贝叶斯法所采用的原理。



https://www.xamrdz.com/lan/53g1963802.html

相关文章: