https://github.com/OpenNMT/CTranslate2
「CTranslate2」は、Transformerモデルを効率的に推論するためのC++ および Python ライブラリです。
接触元 『Google Colab + CTranslate2 による Rinnaの高速推論を試す』
CTranslate2はALBERTに対応していなかった。モデルの変換時に下記のエラーが出る
ValueError: No conversion is registered for the model configuration AlbertConfig (supported configurations are: BartConfig, BertConfig, BloomConfig, CodeGenConfig, GPT2Config, GPTBigCodeConfig, GPTJConfig, GPTNeoXConfig, LlamaConfig, M2M100Config, MBartConfig, MPTConfig, MT5Config, MarianConfig, OPTConfig, PegasusConfig, RWConfig, T5Config, WhisperConfig)
