ローカルLLM
2024/5/7 22:44:00
あれ
2025/1/2 13:44:00
ローカルLLMが動いて日本語が出てるだけで驚異的に進歩してるんだけど、本家本元のクラウドサービス型のLLMも驚異的に進歩してるから、常に見劣りしますわね。
クラウドサービス型のLLMはローカルLLMの猛追を受けるために「デカくて賢いが高コスト」を宿命づけられてる。大変そう。
AWSがNovaで価格破壊しよるしのう！！
LLMそのものを提供して儲けるよりも、別のところで儲けないと厳しいかもしれない。
『ローカルLLMでzoltraakを動かせるか検証してみた』
2024/9/1 9:24:00
『最近ローカルLLMがアツいらしい – soy-software』
2024/5/20 22:55:00
あれ
2024/5/15 12:48:00
VSCodeの拡張機能のContinueと、Ollamaを組み合わせると、ローカルのLLMがコードを書いてくれるようになるぞ。
ただし品質と生成速度はLLMモデル並びにそれを動かすPCのスペックで決まる。
あれ
2024/5/11 20:02:00
M4 iPad Proの発表を見ていたのだけど、私には全然ほしいとは思えなかった。
Youtuberとか、動画を作る人にとっては、持ち運べるワークステーションみたいで便利そうだと思った。
「M4が乗るぜ」って発表が出たときには、「すわローカルLLM」と思われたが、そういうアレではなかった。
AppleがローカルLLMを作ろうと思えばいつでも作れると思うのだけど、そうしていないのは有効な利用用途が見つかっていないのだろうと推量している。
ローカルで動くチャットボットを作ったところで、「だからなんやねん」という感じだし。
大規模言語モデルの小規模化
2023/5/25 19:58:00
LLaMA・Alpaca・Vicunaはデータと仕組みが公開された大規模言語モデルであり、GoogleのBardに匹敵する性能にまで進化している。
https://lmsys.org/blog/2023-03-30-vicuna/ より
楽観的には4.6ヶ月後にノートPC、9.2ヶ月後にスマホでGPT-4相当のAIが動く
LLaMA・Alpaca・Vicunaはデータと仕組みが公開された大規模言語モデルであり、これらの性能あたりのパラメータ数の時間変化を指数近似すると、およそ4.6ヶ月で性能あたりのパラメータ数は半分になる。
悲観的には18ヶ月後にノートPCでGPT-4相当のAIが動く
ムーアの法則に従えば18か月後にはGPT-4相当の大規模言語モデルがノートPCの上で動作することになる。
小規模化への研究資源の投射
学習データの枯渇が起こるならば、研究対象は大規模化・高性能化から高能率化に移る。