t_wの輪郭

LLaMA・Alpaca・Vicunaはデータと仕組みが公開された大規模言語モデルであり、GoogleのBardに匹敵する性能にまで進化している。

https://lmsys.org/blog/2023-03-30-vicuna/ より

楽観的には4.6ヶ月後にノートPC、9.2ヶ月後にスマホでGPT-4相当のAIが動く

LLaMA・Alpaca・Vicunaはデータと仕組みが公開された大規模言語モデルであり、これらの性能あたりのパラメータ数の時間変化を指数近似すると、およそ4.6ヶ月で性能あたりのパラメータ数は半分になる。

悲観的には18ヶ月後にノートPCでGPT-4相当のAIが動く

ムーアの法則に従えば18か月後にはGPT-4相当の大規模言語モデルがノートPCの上で動作することになる。

小規模化への研究資源の投射

学習データの枯渇が起こるならば、研究対象は大規模化・高性能化から高能率化に移る。