一、梯度法思想梯度法思想的三要素：出发点、下降方向、下降步长。机器学习中常用的权重更新表达式为：，这里的λ就是学习率，本文从这个式子出发来把机器学习中的各种“梯度”下降法阐释清楚。机器学习目标函数，一般都是凸函数，什么叫凸函数？限于篇幅，我

模型就是线性规划及线性规划的对偶理论，单纯形法以及它的实际应用：整数规划及其解法(分支定界法、割平面法匈牙利算法Q)，目标规划，非线性规划动态规划、决策分析等等。其它的一些优化算法。比如说一维搜索里面的黄金分割法、加步探索法、牛顿法、抛物线

1.背景介绍最大似然估计（MaximumLikelihoodEstimation,MLE）和参数估计（ParameterEstimation）是两个在统计学和机器学习领域中广泛使用的概念。这篇文章将深入探讨这两个概念之间的关系，揭示它们在实

吴恩达《机器学习》学习笔记三——多变量线性回归一、 多元线性回归问题介绍1.一些定义2.假设函数二、 多元梯度下降法1. 梯度下降法实用技巧：特征缩放2. 梯度下降法的学习率三、 特征选择与多项式回归四、 正规方程法1. 一些定义2. 正