LLaMA・Alpaca・Vicunaはデータと仕組みが公開された大規模言語モデルであり、GoogleのBardに匹敵する性能にまで進化している。
https://lmsys.org/blog/2023-03-30-vicuna/ より
楽観的には4.6ヶ月後にノートPC、9.2ヶ月後にスマホでGPT-4相当のAIが動く
LLaMA・Alpaca・Vicunaはデータと仕組みが公開された大規模言語モデルであり、これらの性能あたりのパラメータ数の時間変化を指数近似すると、およそ4.6ヶ月で性能あたりのパラメータ数は半分になる。
悲観的には18ヶ月後にノートPCでGPT-4相当のAIが動く
ムーアの法則に従えば18か月後にはGPT-4相当の大規模言語モデルがノートPCの上で動作することになる。
小規模化への研究資源の投射
学習データの枯渇が起こるならば、研究対象は大規模化・高性能化から高能率化に移る。