ONNX
2021/9/8 12:30:00
『[Rust] ortでonnxモデルを使って推論したりWASMにしたりしてみる | DevelopersIO』
2024/6/7 7:51:00
あれ
2023/12/3 0:24:00
500MBあるBERTをONNXに変換した後に量子化したら110MBほどになってLambdaで動かせるようになった。
Githubに乗せるファイルは100MB以下でないとだめなので、ダメ押しでgzipで圧縮したら75MBになった。
onnxruntime-nodeでgzipで圧縮したonnxファイルを読み込む
2023/12/3 0:17:00
const onnx_zip = fs.readFileSync('./sonoisa_sentence-bert-base-ja-mean-tokens-v2_onnx/model_quantized.gz');
const onnx_buffer = zlib.unzipSync(onnx_zip)
const session = await ort.InferenceSession.create(onnx_buffer);
onnxruntime
2023/12/3 0:17:00
onnxに変換して量子化するコマンド
2023/12/2 18:38:00
python3 -m transformers.onnx --model=sentence-transformers/paraphrase-multilingual-mpnet-base-v2 onnx/ --opset=18
optimum-cli onnxruntime quantize --onnx_model ./onnx --output onnx_quantize/ --arm64
あれ
2023/8/15 21:15:00
遺伝的プログラミングの学習結果をonnxにするというアイデアが降りてきた。
onnxのエコシステムに乗っけられるのが嬉しいポイント
あれ
2023/7/29 23:17:00
「ONNXならGo言語で動くし、AWS LambdaでSentence Embeddingの計算イケんじゃね？？？」と思われたが、そもそも日本語のSentence Embeddingに対応した小さいモデルが市井になかった。終わり。
「自分で作れや」というあれがある。GPUがねぇ。いい加減にGoogle Colaboratoryの有償契約をすべきか。
Open Neural Network Exchange
2021/9/8 12:31:00