Cost Function of Ridge
- 上述方程可以表示为一个重心不在原点的椭圆(有cross term)
==>
==>
椭圆更大的半径表示更大的cost
- 增大$\lambda$, 在求最优cost的过程中,$w_{0}$ 和 $w_{1}$会趋近于0.
分开表示cost function 的 rss 和 l2 penalty
- rss 表示椭圆
- l2 norm 表示圆
Ridge 的最优解
Ridge的最优解是 rss 和 l2 penalty 之间balance 后的结果
Cost Function of Lasso
- 上述方程可以表示为一个重心不在原点的椭圆(有cross term)
==>
==>
- 增大$\lambda$, 在求最优cost的过程中,$w_{0}$ 和 $w_{1}$会趋近于0. 但是,不是同时趋近为0,会有部分w先为0
分开表示cost function 的 rss 和 l1 penalty
rss 表示椭圆(和ridge相同)
l1 norm 表示菱形
Lasso 的最优解
Ridge的最优解是 rss 和 l1 penalty 之间balance 后的结果