『Xユーザーの/さん: 「fp8の表現力が思ってたよりかなり低いな... あと、こうやって見ると、NNの重みや勾配の絶対値の平均が1.0付近で安定するよう初期化/スケール/正則化すれば低精度でも安定するんじゃないの?という感じがする」 / X』2025/1/12 15:15:00 https://x.com/kyo_takano/status/1878312135752851914
『Weightless: Lossy Weight Encoding For Deep Neural Network Compression | OpenReview』2024/8/4 22:57:00 https://openreview.net/forum?id=S1pWFzbAW