t_wの輪郭

Feedlyでフォローするボタン
BERTSentence Embeddingonnxに変換して量子化するコマンドONNXonnxruntime-nodeでgzipで圧縮したonnxファイルを読み込む

あれ

2023/12/3 0:24:00

500MBあるBERTをONNXに変換した後に量子化したら110MBほどになってLambdaで動かせるようになった。
Githubに乗せるファイルは100MB以下でないとだめなので、ダメ押しでgzipで圧縮したら75MBになった。

あれ