t_wの輪郭

ウェーブレット勉強したいと思いつつできていなかったら最新の動向を知ることができるのありがたい。

位置符号化ということは、LLMに文中のトークンの位置を示すためのやつだろうか。
あってた。

RoPEの外挿性能は低い

一符号化における外挿性能ってなんだろう。

RoPEはウェーブレット変換の一形態であると解釈できる

私には読むのが難しい論文ということがわかってきた。

ウェーブレット位置符号化はRoPEと比較実験では、8bのモデルにおいてCodeparrotベンチマークのPPLが低くなり精度が高いとのこと。