The Ridge Regression Path

xxxxxxxx xxxxx xxxxxxx xxxxx xxxxx xxxx xxxxxxx xxx xxxxxxxxxx, xxx xx xxxxxxxx xxxx xxxxxx xxxxxx xxx: xxx xxxxxxxx xxxxxxx xx xxxxxxxxxxx xxxxxxx, x xxxxx'x xxxxxx xxx xxx xxxxxx'x. xxx xxxxxxxxxxxx xxxxxx xxxxx, xxxxxxxx xx xxxx xxx xxxxxxxx xxxx xxx xxxxxx xx xxx xxxx. xxxxx xxxxxxxxxx xx xxx xxxxxxxx xxx. xxxxxxx xx xxxxxxxx xx xxxxxxxxxx xxxxxxx xxx xxxxxxx (xxxxx xxxx xx xxxxxxxxx, xxx xx xxxxx xxx xxxxxx) xxxx xxxxxxx xxx xxxxxxxxxx xx xx xxxx xxxx x xxxxxxx.

xxxxxxxxx xxxxx_xxxx(x, x, xxxxxxx).

• x: x xxxx xx ( x ) xxxxxxx xxxx, xxxx xxxx ( x ) xxxxxxxx (xx x xxxx xxxx xxx xxx xxxxxxx), xxxxxxx xx xxxxxxxxx xxxxxx.
• x: x xxxx xx ( x ) xxxxxx xxxxxx.
• xxxxxxx: x xxxx xx xxxxxxx xxxxxxxxx ( xxxxxx xx x ).

xxx xxxx ( xxxxxx ), xxx x xxxxxx xxxxx xxxx xx xxxxxxxxx xx xxxxxxxxxx

[ xxx_{x=x}^{x} xxx(x_x - x_x - x_x^xxx xxxxxxx)^x + xxxxxx xxxxx xxxx xxxxx^x ]

xxx xxxxxxxxx ( x_x ) xx xxx xxxxxxxxx. xxx xxxxxxxxx xx xxxxxx:

x. xxxxxx xxxx xxxxxx xx x xx xxx xxxx xxx xxxxxx x xx xxx xxxx. xxxx xxx xxxxxxx ( x_x ) xxx ( x_x ). x. xxxxx xxx xxxxxx xxxxxx [ (x_x^xxx x_x + xxxxxx x),xxxx = x_x^xxx x_x ] xxxx xx.xxxxxx.xxxxx. xx xxx xxxx xxx xxxxxxx. x. xxxxxxx xxx xxxxxxxxx: ( x_x = xxx x - xxx x^xxx xxxx ).

xxxxxx x xxxx xxxx xxx xxxxx xxx ( xxxxxx ), xx xxx xxxxx xxxxx. xxxx xxxxx xx xxx xxxx [xx, xxxx_x, ..., xxxx_x] xx xxxxx xxxxxx xxxxxx xxxxxxx xx x xxxxxxxx (xxxxx(xxxxx(x), x)).

xxxx ( xxxxxx = x ) xxxx xx xxxxxxxx xxxxx xxxxxxx. xxxx ( x xx x ), ( x_x^xxx x_x ) xx xxxxxxxx, xxx xxx xxxxx xxxx xxx ( xxxxxx > x ) xx xxxx xxxx.

xxxxxxxx

xxxxx_xxxx([[x], [x], [x], [x]], [x, x, x, x], [x, x, xx])
# [[x.x, x.x], [x.xxxx, x.xxxx], [x.xxxx, x.xxxx]]

xxxx xxx xxxxxxx xxxxxxxxxx xx x xxxxxx. xxx xxxxxxx ( x ) xx ( (-x.x, -x.x, x.x, x.x) ), xx ( x_x^xxx x_x = x ) xxx ( x_x^xxx x_x = x.x ). xxx xxxxx xx ( x.x / (x + xxxxxx) ): x.x, xxxx x.xxxx, xxxx x.xxxx. xxx xxxxxxxxx xx ( x.xx - x.xxxxx ), xxxxx xxxxx xx xxxxxxx ( xxx x = x.xx ) xx xxx xxxxx xxxxxxx.

xxxxx_xxxx([[x.x, x.x], [x.x, x.x], [x.x, x.xx], [x.x, x.x], [x.x, x.xx]],
           [x.x, x.x, x.x, x.x, x.x], [x, x])
# [[x.xx, -x.xxxx, x.xxxx], [x.xxxx, x.xxxx, x.xxxx]]

xxx xxx xxxxxxx xxx xxxxxx xxx xxxx xxxxxx. xxxxx xxxxxxx xxxxx xxxx xxxxxxxxxx xxxxxxxxxxxx, ( -x.xx ) xxx ( x.xx ). x xxxxxxx xx x xxxxx xxxx xxxxxxxx xx xxxxx ( x.xx ) xxxx. xxxxx xxx xxxxx xxxx xxxx, xxxx x.xx xx x.xx.