かってきままな日々(2019-12-13)

2019-12-13 (Fr) [長年日記]

↑カーネルトリックの説明をしてる。軽くだけど。

無限次元の計算が有限の計算コストでできる。すげー。

何度聞いても衝撃。そして説明できる気がしない。

複数の特徴量から多次元多項式回帰すると、すごい精度が出るかもしれないが、パラメータが多くなりすぎて現実的でない。

で。

特徴量を2つ持ってきて、そこから得られるパラメータ2つの内積(=カーネル)を求めようとすると、普通に考えると、各パラメータの積を合計する必要がある。が、実はカーネルは元の特徴量の内積を使って計算できる (ことが証明されている)。

ならば。

特徴量そのものでなく、代わりにカーネルを特徴量とした回帰を構築すれば、現実的でなかったものが現実的になる。

こんなの? さっぱり説明できる気がしない。

logit って sigmoid の逆関数?

ちょっと証明してみよか。

\[ y = \frac{1}{1 + e^{-x}} \]

\[ 1 + e^{-x} = \frac{1}{y} \]

\[ e^{-x} = \frac{1}{y} - 1 \]

\[ \frac{1}{e^{x}} = \frac{1-y}{y} \]

\[ e^{x} = \frac{y}{1-y} \]

\[ x = \log\frac{y}{1-y} \]

なるほど、逆関数だ。へー。