t_wの輪郭

LLM

2024/3/24 20:21:00

Large Language Model
大規模言語モデル

Ollama『歴代チャットボットと最近のLLMのまとめ』翻訳LLMLLM-jp-13BRakutenAI-7BNejumi LLMリーダーボード NeoLLMの1回のファインチューニングは50円でできることがあるLLM App『LLMの現在』infoboxの仕組み（想像）あれKnowAgent『LLMのファインチューニングを他手法との違いから理解する（Part 1）』パーソナルな大規模言語モデルChroma『LLMがもたらす組織構造の変化』LLMで人間が成長BitNet大規模言語モデル体験LongNetあれ『ChatGPTは「植民地化されたネットの象徴」　若手起業家が警鐘』Web Prowlerに大規模言語モデルを導入Web-LLMあれあれあれAlpacaオープンソースの大規模言語モデルText generation web UIPerplexity AI『GPUを使ってウェブ上のグラフィックスを改善するWebGLの後継API「WebGPU」がChrome 113ベータ版で利用可能に』DALL・E 2CodeTFあれCodeT5『「英語は新しいプログラミング言語であり、生成的AIは新しいコンパイラだ」。英語対応のためのSDK「English SDK for Apache Spark」をデータブリックスが発表』『Meta、独自大規模言語モデル（LLM）の「LLaMA」を限定リリース』LLaMAGPT-3Goose AIRWKVBLOOM『GPT-3に強力ライバル、1000人が作ったLLMはAI界の流れを変えるか？』あれあれプログラマーは大規模言語モデルによる変革にさらされているオープンな大規模言語モデルの進歩大規模言語モデルの小規模化あれ『Japanese Language Model Financial Evaluation Harness』大規模言語モデルをOSに搭載オープンソースの大規模言語モデルによるチャットボットあれあれネットワークの文章化Calm2LLMへの新規性の注入LLMのプロンプトは宣言的プログラミングQwenBard『Microsoft、Azure OpenAI Serviceに自社データを取り込んで活用できる機能をプレビュー提供』Microsoft、Azure OpenAI ServiceOrcaphi-1Orca2Phi-2大規模言語モデルによって検索サイトのビジネスモデルは崩壊し、セマンティックウェブの時代が到来する？日本語LLMMultimodal LLMグループウェア的LLMあれあれあれ大規模言語モデルはメカソクラテスになれるかコード生成AIClaude V2あれLlama2『ラズパイで動く大規模言語モデルがGitHubで公開　性能は“GPT-3相当”、Metaの「LLaMA」派生 - ITmedia NEWS 』『大規模言語AIにアキレス腱、訓練用データが2026年にも枯渇か』大規模言語モデルは人類の知性を超えない大規模言語モデルにとってプログラミング言語は簡単個人化した大規模言語モデル大規模言語モデルの個人化LLM無職『大規模言語モデルは新たな知識か』TinyLlamagemmaMicrosoft 365 Copilotあれ

LLaMA・Alpaca・Vicunaはデータと仕組みが公開された大規模言語モデルであり、GoogleのBardに匹敵する性能にまで進化している。

https://lmsys.org/blog/2023-03-30-vicuna/ より



楽観的には4.6ヶ月後にノートPC、9.2ヶ月後にスマホでGPT-4相当のAIが動く

LLaMA・Alpaca・Vicunaはデータと仕組みが公開された大規模言語モデルであり、これらの性能あたりのパラメータ数の時間変化を指数近似すると、およそ4.6ヶ月で性能あたりのパラメータ数は半分になる。

悲観的には18ヶ月後にノートPCでGPT-4相当のAIが動く

ムーアの法則に従えば18か月後にはGPT-4相当の大規模言語モデルがノートPCの上で動作することになる。

小規模化への研究資源の投射

学習データの枯渇が起こるならば、研究対象は大規模化・高性能化から高能率化に移る。

あれ

2023/6/18 14:57:00

ボロボロの研究成果です

遺伝的プログラミング、精度出ねぇんだわ。

でも、モデルのサイズは小さいぞ！！
812KBや。
一般的な大規模言語モデルというかディイイイイイプラーニングはGBとかサクッと行く


食事の文章に関してはいい感じに類似判定されているのは、データ元の人格が出てますねぇ。

あれ

2024/2/11 12:33:00

Reactコンポーネントの中に説明を書くと、LLMが中身を実装してくれるReactコンポーネントをXのどこかで見たのだけど、どこだったか思い出せない 

<LlmComponent>
　コンポーネントの説明（プロンプト）
</LlmComponent>

みたいな感じ

今までの検索サイトのビジネスモデルでは、検索サイトと検索によって表示されるサイト（以降「被検索サイト」と呼称）の間には互恵関係があった。検索サイトから個々のウェブサイトへ閲覧者が流入するという利点が被検索サイトにはあった。

LLMが検索サイトに搭載され、検索語で知りたい情報が検索サイト自身に表示されるのであれば、被検索サイトのページビューは減少する。

閲覧者の流入がないのであれば、被検索サイトにとって検索サイトが敵になる。クロールされ、負荷を強いられ、情報を搾取されるようになるからだ。今までは被検索サイトは得られる利益と引き換えに、こうした問題を受忍してきた。しかし利益がなければ受忍する道理はない。

故に、被検索サイトもAI絵師の問題と同様に、サイトからの情報を学習に利用されることを拒否するようになる。

そうして出てくるのは、LLMを搭載したブラウザやOSだ。利用者の手元でLLMが動作し、情報を収集し、利用者の問い合わせに応じて回答する。大規模言語モデルの小規模化もそれを後押しする。

利用者にとってはLLMを通して情報を取得する形となるが、検索サイトは仲介することによる利益を広告として得ることができなくなる。すなわち、情報流通の費用が低減するのだ。

続いて勃興するのはLLMに最適化された情報の提示だ。SEOが検索エンジンに最適化したように、LLMに最適化された情報を提示して、自身の事業に有利な出力をするように仕向ける。その形態はビジュアルである必要がないため、セマンティックウェブ的になる。

購読の意味合いも変わってきて、LLMに食わせる情報源として購読するという形態が発生する。RSSが形を変えて復興する。

想定される課題と対処

プライバシー

プライバシー: ユーザーの行動や興味を反映させるためには、大量の個人データを収集する必要があります。これはプライバシーの問題を引き起こす可能性がある。

しかし、プライバシーの問題はむしろ霧散する。今のLLMは営利企業のサーバーによって実行されており、その際の問い合わせ内容はサーバーに保存される。しかし、各利用者の手元のOSで動作するLLMではその問い合わせ内容は外部に出ることはなく、完全にプライバシーが保護される。

コンピューティングリソース

個々のデバイスでAIの訓練を行うというのは、コンピューティングリソースの観点からも難しいかもしれない。

集約されたLLMと個人化されたLLMでは、サーバーで動作する「集約されたLLM」の方が潤沢なコンピューティングリソースを使うことができるため、相対的により“賢い”LLMを利用することができる。そのため、公共知は集約されたLLM、個人知は手元のOSで動作するLLM、のように使い分けることになる。

情報の正確さや信頼性を保証する難しさ

情報の正確さや信頼性を保証することが難しくなる。ユーザーが選択的に情報をクロールや購読する場合、情報源が偏ったり、誤った情報が混入する可能性がある。また、エコーチャンバーのような問題も生じる。

営利企業が運営するLLMに対しても同じことが言える。営利企業であるがために広告・宣伝・プロパガンダを混ぜ込むなどの意図的な偏りが発生する。