https://github.com/OpenNMT/CTranslate2
「CTranslate2」は、Transformerモデルを効率的に推論するためのC++ および Python ライブラリです。
接触元 『Google Colab + CTranslate2 による Rinnaの高速推論を試す』
CTranslate2
2023/6/15 10:17:00
『CTranslate2でRinnaモデルをコンバートしてCPUや8GB GPUで動くようにする』
2023/6/15 19:43:00
CTranslate2はALBERTに対応していなかった
2023/6/15 21:03:00
CTranslate2はALBERTに対応していなかった。モデルの変換時に下記のエラーが出る
ValueError: No conversion is registered for the model configuration AlbertConfig (supported configurations are: BartConfig, BertConfig, BloomConfig, CodeGenConfig, GPT2Config, GPTBigCodeConfig, GPTJConfig, GPTNeoXConfig, LlamaConfig, M2M100Config, MBartConfig, MPTConfig, MT5Config, MarianConfig, OPTConfig, PegasusConfig, RWConfig, T5Config, WhisperConfig)