一、梯度法思想梯度法思想的三要素：出发点、下降方向、下降步长。机器学习中常用的权重更新表达式为：，这里的λ就是学习率，本文从这个式子出发来把机器学习中的各种“梯度”下降法阐释清楚。机器学习目标函数，一般都是凸函数，什么叫凸函数？限于篇幅，我

梯度下降优化一个深度学习项目一般由数据、模型、损失、优化、训练和预测等部分构成，对于其中的“优化”部分，我们最熟悉的可以说就是 梯度下降（gradient descent） 算法了。然而，在实际的深度学习架构中，我们却经常看到的是Adam优

1.背景介绍最大似然估计（MaximumLikelihoodEstimation,MLE）和参数估计（ParameterEstimation）是两个在统计学和机器学习领域中广泛使用的概念。这篇文章将深入探讨这两个概念之间的关系，揭示它们在实

文章目录1. 监督学习和无监督学习2. 线性回归模型3. 代价函数4. 梯度下降5. 多维特征6. 多元线性回归的梯度下降7. 特征缩放8. 判断梯度下降是否收敛9. 学习率10. 正规方程11. 逻辑回归12. 决策边界13. 逻辑回归