onnxruntime-nodeでgzipで圧縮したonnxファイルを読み込む

2023/12/3 0:17:00

const onnx_zip = fs.readFileSync('./sonoisa_sentence-bert-base-ja-mean-tokens-v2_onnx/model_quantized.gz');
const onnx_buffer = zlib.unzipSync(onnx_zip)
const session = await ort.InferenceSession.create(onnx_buffer);

あれ

onnxに変換して量子化するコマンド onnxruntime-nodeでgzipで圧縮したonnxファイルを読み込む BERT ONNX Sentence Embedding

あれ

2023/12/3 0:24:00

500MBあるBERTをONNXに変換した後に量子化したら110MBほどになってLambdaで動かせるようになった。
Githubに乗せるファイルは100MB以下でないとだめなので、ダメ押しでgzipで圧縮したら75MBになった。