当前位置: 首页>前端>正文

lasso回归十折交叉验证 lasso回归的交叉验证

模型防止过拟合

1.正则化技术

  • L1正则化
  • L2正则化
  • dropout
  • 数据增强
  • 提前停止

正则化对系数进行惩罚。在深度学习中,它实际上惩罚了节点的权重矩阵。

01 L1和L2正则化

它是最常见的正则化类型。在回归模型中,L1正则化称为Lasso回归,L2称为岭回归。

成本函数=损失(交叉熵)+正则化

'y'表示学习关系,' β'表示不同变量或预测变量(x)的系数估计。 λ是调整参数,决定了我们想要多大程度地惩罚模型的灵活性。这两者的区别在于惩罚项。Ridge将系数的平方大小作为惩罚项加到损失函数上。 Lasso (Least Absolute Shrinkage and Selection Operator)增加系数的绝对值。如果机器学习数据集中有大量特征,那么对于特征选择,Lasso会将不太重要的特征系数缩小为零。

02 Dropout

它是深度学习中最常用的正则化方法。在每次迭代中,dropout选择一些节点并将其连同所有传入和传出的连接一起丢弃。每个迭代都有不同的节点集和输出。在机器学习中,这被称为ensemble,当它们捕捉到更多的随机性时,性能会更好。

03 数据增强

减少过度拟合最简单的方法是增加训练数据的大小。在机器学习中,我们无法增加训练数据的大小,因为标记数据太昂贵。但是,现在让我们考虑我们处理的是图像。有几种方法可以增加训练数据的大小——旋转图像、翻转、缩放等。这种技术称为数据增强。这通常会提高模型的准确性。它可以被视为一个强制性的技巧,以改善我们的预测。

04 Eearly stopping

Early stopping是一种交叉验证策略,我们将训练集的一部分作为验证集。当我们发现验证集上的性能变差时,我们会立即停止对机器学习模型的训练。这被称为Early stopping。

在上图中,我们将在虚线处停止训练,因为之后我们的机器学习模型将开始对训练数据进行过度拟合

自律, 坚定, 随和, 坚强, 为了自己想要的,去奋斗




https://www.xamrdz.com/web/2he1962334.html

相关文章: