gzip
2023/7/14 0:00:00
CompressionStream
2024/9/4 23:21:00
『CompressionStream でブラウザで gzip 圧縮する』
2024/9/4 23:20:00
onnxruntime-nodeでgzipで圧縮したonnxファイルを読み込む
2023/12/3 0:17:00
const onnx_zip = fs.readFileSync('./sonoisa_sentence-bert-base-ja-mean-tokens-v2_onnx/model_quantized.gz');
const onnx_buffer = zlib.unzipSync(onnx_zip)
const session = await ort.InferenceSession.create(onnx_buffer);
あれ
2023/7/14 1:24:00
そういうわけでgzipでSentence Embeddingが作れるんじゃないかと予備実験してみるとこんな感じ。そこまでパキッとしてないのでそんなに精度が出なさそうな感じがある。類義語をうまく取り扱えてないという感触。
類義語はともあれ、同じ文字が使われていれば類似度が出るので、最低限のベースラインとしては使えそう。
ちなみに、「類似度」というラベルで出しているが、サイズの比になるので、この値は小さいほど類似度が高いということになっている。