Logistic Regression from Scratch

xxxxxxxx xxxxxxxxxx xx xxx xxxxx x xxxxxxxxxx xxxxxxx xxx xxxxx xxxx xxx xxxxxx xx x xxx xx xx: xxxx xxxx xxxxx xxxx, xxxx xxxx xxxxx xxxx xxx xxxxxx xxxxxxxx, xxxx xxxx xxxxx xx xxx. xxxxxxx xx xx xxxx xx x xxxx xxxxxxxx xxxxxxx xx xxx xx xxxxxx xxxx. xxx xxxx xx xxxx xxx xxxxxxxx, xxx xxx xxxx xx xxxx xxxx xxxx xxxxx xxxxxxxxxxx xxxx xxx xxxxxx xxx xxxxx.

xxxxxxxxx xxxxxxxx_xx(x, x, xx, xxxxx).

• x: x xxxx xx xxxxxxx xxxx (xx x xxxx xxxx xxx xxx xxxxxxx), xxxxxxx xx xxxxxxxxx xxxxxx.
• x: x xxxx xx xxxxxx, xxxx x xx x.
• xx: xxx xxxxxxxx xxxx.
• xxxxx: xxx xxxxxx xx xxxx-xxxxx xxxxxxxx xxxxx xx xxxx.

xxx xxxxx xx ( x(x = x xxx x) = xxxxx(x^xxx x) ), xxxxx ( x ) xx xxx xxxxxxx xxx xxxx x xxxxxxx x xxx

[ xxxxx(x) = xxxx{x}{x + x^{-x}} ]

xxx xx xx xxxxxxxxxx xxx xxxx xxxxx-xxxxxxx xxxx xxxx xxxx-xxxxx xxxxxxxx xxxxxxx, xxx xxxxxx xxx xxxxxxxxx xxxxxx xxxxx xxxxxxx xxxxx xxxxx xx x xxxx xx xxxxxx xxxxxxx xx x xxxxxxxx, xxxxxxxxx xxxxx.

xx xxxx xxxxx xxxxxxxxxx xxxxx xxx xxxx xxxx, xxx xxxxxxxxx xx xxxxxx: xxxxx xxx xxxxxx xxxxxx ( x ) xxxx x xxxxxxx xxxxxx xx xxxx, xxxxx xxxx xxx-xxxx xxxxxxxxxx, xxx xxxxxx xxxx

[ x xxxxxxxxx x - xxx xxxx xxxx{x}{x} x^{xxx}xxx(xxxxx(xx) - xxxx) ]

xxxxx ( x ) xx xxx xxxxxx xx xxxx. xxxx xx xxx xxxxx xxxxxxxx xx xxx xxxx xxxxx-xxxxxxx

[ x(x) = -xxxx{x}{x} xxx_{x=x}^{x} xxx( x_x xxx x_x + (x - x_x) xxx(x - x_x) xxx), xxxxx x_x = xxxxx(x_x^xxx x) ]

xxxxxxxxx xxxxxxxxx. xxxx xxxxx xxxxx xxx xxxxxx ( xx ) xxxx xxx xxxx xx xxxxxxxxx. xxxxxxxx ( xxxxx ) xx xxxx xx xxxxx xxxxxxxxx xxxx xxx / xxx xx xxx: x xxxxxx xxxxxxx xxxx xxxx xxxxxxxxxxxxx x xxxxxx xxxx xx xxxx xx xxxxxxxx.

xxxxxx xxxxx xxxxxx xxxxxx (xxxxx(xxxxx(x), x)), xxx xxxxx xxxxxxx.

xxxxxxxx

xxxxxxxx_xx([[x], [x], [x]], [x, x, x], x.x, x)
# [x.xxxx, x.xxxx]

x xxxxxx xxxx xxxx xxxx xxxx xxx xxxxxxxx xxxxxxxxxx. xxxx ( x = x ), xxxxx ( x_x ) xx ( x.x ), xx xxx xxxxxxxxx ( x - x ) xxx ( (x.x, -x.x, -x.x) ). xxx xxxxxxxx xx ( xxxx{x}{x}(-x.x, -x) ), xxx x xxxx xx ( x.x ) xxxxxxx xx xxxxx ( (x.xxxx, x.xxxx) ). xxxxx xx xx xxxx xxxxxx xxxxxxx xxxxxxxx.

xxxxxxxx_xx([[x], [x], [x], [x], [x], [x]], [x, x, x, x, x, x], x.x, xxxx)
# [-x.xxxx, x.xxx]

xxx xxxxxxx xxxxxxx (xxx xxxxx xx ( x = x ) xx x xxx xxx xxxxx xx ( x = x ) xx x), xx xxx xxxx xxx x xxxxxx xxxxxxx. xxxxx x,xxx xxxxx xxx xxxxxxxx xxxx xxxxxxx xx xx xxxx xxxxxxxx: xxxx xx xxx xxxxxxx xxxxxxxxxx xxx.