t_wの輪郭

Feedlyでフォローするボタン
正則
ベクトルの大きさを1.0に近づける勾配正則化とかかっこいい名前してるけど、これって損失関数を問題に特化させていじくってるだけでは？？？正則化で人の過学習を緩和TV正則化Total Variation 正則化手法と事例学習法を組み合わせた超解像度画像の復元方法正則化という言葉の由来は，線形代数の正則行列『正規化(Normalization)と正則化(Regularization)』
$$ L = (\sum^{N}_{i=1}(X_i^2) - 1)^2 $$
$$ \frac{\partial L}{\partial X_i} = \frac{\partial (\sum^{N}_{i=1} (X_i^2) - 1)^2}{\partial X_i} $$
$$ = \frac{\partial (\sum^{N}_{i=1}(X_i^2) - 1)^2 }{\partial (\sum^{N}_{i=1}(X_i^2) - 1)} \frac{\partial (\sum^{N}_{i=1}(X_i^2) - 1)}{\partial X_i} $$
$$ = 2(\sum^{N}_{i=1}(X_i^2) - 1) (2 X_i) $$
$$ = 4X_i( \sum^{N}_{i=1}(X_i^2) - 1 ) $$