t_wの輪郭
フォローする
このサイトについて
9/7/2023, 1:07:00 AM
$$ L = (\sum^{N}_{i=1}(X_i^2) - 1)^2 $$
$$ \frac{\partial L}{\partial X_i} = \frac{\partial (\sum^{N}_{i=1} (X_i^2) - 1)^2}{\partial X_i} $$
$$ = \frac{\partial (\sum^{N}_{i=1}(X_i^2) - 1)^2 }{\partial (\sum^{N}_{i=1}(X_i^2) - 1)} \frac{\partial (\sum^{N}_{i=1}(X_i^2) - 1)}{\partial X_i} $$
$$ = 2(\sum^{N}_{i=1}(X_i^2) - 1) (2 X_i) $$
$$ = 4X_i( \sum^{N}_{i=1}(X_i^2) - 1 ) $$
Amazonで検索:ベクトルの大きさを1.0に近づける勾配
9/7/2023, 1:08:00 AM

誤差逆伝播法に与える損失関数の勾配にベクトルの大きさを1.0に近づける勾配を加算したらめっちゃ学習するようになった。

というか出力の値が大きくなりすぎていた。

Amazonで検索:あれ