The difference between Lasso and Ridge regularization

Cost Function of Ridge

  1. 上述方程可以表示为一个重心不在原点的椭圆(有cross term)

==>

==>

椭圆更大的半径表示更大的cost

  1. 增大$\lambda$, 在求最优cost的过程中,$w_{0}$ 和 $w_{1}$会趋近于0.

分开表示cost function 的 rss 和 l2 penalty

  1. rss 表示椭圆
  2. l2 norm 表示圆

Ridge 的最优解

Ridge的最优解是 rss 和 l2 penalty 之间balance 后的结果

Cost Function of Lasso

  1. 上述方程可以表示为一个重心不在原点的椭圆(有cross term)

==>

==>

  1. 增大$\lambda$, 在求最优cost的过程中,$w_{0}$ 和 $w_{1}$会趋近于0. 但是,不是同时趋近为0,会有部分w先为0

分开表示cost function 的 rss 和 l1 penalty

  1. rss 表示椭圆(和ridge相同)

  2. l1 norm 表示菱形

Lasso 的最优解

Ridge的最优解是 rss 和 l1 penalty 之间balance 后的结果

Donate article here