此算法是用来解决“分类问题”的算法
一,Logistic函数理解
在数学中,有一种函数叫作Logistic函数,如下所示
数学表达式如下:
在对x逐渐放大时,会出现以下情况
而如果我们要做一个二分类任务的时候,它的图像应该是如下描绘的
完全符合的函数叫作单位阶跃函数,但是在0点位置不适合求导,所以我们采取Logistic函数
二,Logistic回归算法理解
1,假设函数
使用的线性函数替换的x,H(x)图像呈现s形分布,能够预测出离散的输出结果
2,损失函数
推导过程可用最大似然去推导,不再详细推导。理解就记住y要么为0要么为1,所以损失值就是-1、0、1,符合式子逻辑即可
3,优化方法
因为Logistic回归是一个最大化似然估计问题,所以通常采用梯度上升法进行优化
公式如下: