当前位置: 首页>后端>正文

机器学习(四):Logistic回归算法

此算法是用来解决“分类问题”的算法

一,Logistic函数理解

在数学中,有一种函数叫作Logistic函数,如下所示


机器学习(四):Logistic回归算法,第1张
Logistic曲线函数

数学表达式如下:


机器学习(四):Logistic回归算法,第2张

在对x逐渐放大时,会出现以下情况


机器学习(四):Logistic回归算法,第3张

而如果我们要做一个二分类任务的时候,它的图像应该是如下描绘的


机器学习(四):Logistic回归算法,第4张

完全符合的函数叫作单位阶跃函数,但是在0点位置不适合求导,所以我们采取Logistic函数

二,Logistic回归算法理解

1,假设函数

机器学习(四):Logistic回归算法,第5张

使用的线性函数替换的x,H(x)图像呈现s形分布,能够预测出离散的输出结果

2,损失函数

机器学习(四):Logistic回归算法,第6张

推导过程可用最大似然去推导,不再详细推导。理解就记住y要么为0要么为1,所以损失值就是-1、0、1,符合式子逻辑即可

3,优化方法

因为Logistic回归是一个最大化似然估计问题,所以通常采用梯度上升法进行优化
公式如下:

机器学习(四):Logistic回归算法,第7张

https://www.xamrdz.com/backend/3a61936018.html

相关文章: