t_wの輪郭

Feedlyでフォローするボタン
『Xユーザーの/さん: 「fp8の表現力が思ってたよりかなり低いな... あと、こうやって見ると、NNの重みや勾配の絶対値の平均が1.0付近で安定するよう初期化/スケール/正則化すれば低精度でも安定するんじゃないの?という感じがする」 / X』浮動小数点数
あれ