3/12/2023, 8:58:00 AM
Nvidiaの株価が上がった話を聞いてると、株買っとけばよかったなとなる。
大規模言語モデルにGPUが使われているのだから簡単に分かった話だ。
証券口座を作るのをめんどくさがってしまった。
ただ、これからは違う。証券口座を作る手続きを進めているのだ。
次の波には乗りたい。
人類が記述した文章の模倣を学習する限り、人類の知性の総和を超えることはない。
今までの検索サイトのビジネスモデルでは、検索サイトと検索によって表示されるサイト（以降「被検索サイト」と呼称）の間には互恵関係があった。検索サイトから個々のウェブサイトへ閲覧者が流入するという利点が被検索サイトにはあった。
LLMが検索サイトに搭載され、検索語で知りたい情報が検索サイト自身に表示されるのであれば、被検索サイトのページビューは減少する。
閲覧者の流入がないのであれば、被検索サイトにとって検索サイトが敵になる。クロールされ、負荷を強いられ、情報を搾取されるようになるからだ。今までは被検索サイトは得られる利益と引き換えに、こうした問題を受忍してきた。しかし利益がなければ受忍する道理はない。
故に、被検索サイトもAI絵師の問題と同様に、サイトからの情報を学習に利用されることを拒否するようになる。
そうして出てくるのは、LLMを搭載したブラウザやOSだ。利用者の手元でLLMが動作し、情報を収集し、利用者の問い合わせに応じて回答する。大規模言語モデルの小規模化もそれを後押しする。
利用者にとってはLLMを通して情報を取得する形となるが、検索サイトは仲介することによる利益を広告として得ることができなくなる。すなわち、情報流通の費用が低減するのだ。
続いて勃興するのはLLMに最適化された情報の提示だ。SEOが検索エンジンに最適化したように、LLMに最適化された情報を提示して、自身の事業に有利な出力をするように仕向ける。その形態はビジュアルである必要がないため、セマンティックウェブ的になる。
購読の意味合いも変わってきて、LLMに食わせる情報源として購読するという形態が発生する。RSSが形を変えて復興する。
プライバシー: ユーザーの行動や興味を反映させるためには、大量の個人データを収集する必要があります。これはプライバシーの問題を引き起こす可能性がある。
しかし、プライバシーの問題はむしろ霧散する。今のLLMは営利企業のサーバーによって実行されており、その際の問い合わせ内容はサーバーに保存される。しかし、各利用者の手元のOSで動作するLLMではその問い合わせ内容は外部に出ることはなく、完全にプライバシーが保護される。
個々のデバイスでAIの訓練を行うというのは、コンピューティングリソースの観点からも難しいかもしれない。
集約されたLLMと個人化されたLLMでは、サーバーで動作する「集約されたLLM」の方が潤沢なコンピューティングリソースを使うことができるため、相対的により“賢い”LLMを利用することができる。そのため、公共知は集約されたLLM、個人知は手元のOSで動作するLLM、のように使い分けることになる。
情報の正確さや信頼性を保証することが難しくなる。ユーザーが選択的に情報をクロールや購読する場合、情報源が偏ったり、誤った情報が混入する可能性がある。また、エコーチャンバーのような問題も生じる。
営利企業が運営するLLMに対しても同じことが言える。営利企業であるがために広告・宣伝・プロパガンダを混ぜ込むなどの意図的な偏りが発生する。
LLaMA・Alpaca・Vicunaはデータと仕組みが公開された大規模言語モデルであり、GoogleのBardに匹敵する性能にまで進化している。
https://lmsys.org/blog/2023-03-30-vicuna/ より
LLaMA・Alpaca・Vicunaはデータと仕組みが公開された大規模言語モデルであり、これらの性能あたりのパラメータ数の時間変化を指数近似すると、およそ4.6ヶ月で性能あたりのパラメータ数は半分になる。
ムーアの法則に従えば18か月後にはGPT-4相当の大規模言語モデルがノートPCの上で動作することになる。
学習データの枯渇が起こるならば、研究対象は大規模化・高性能化から高能率化に移る。
Chroma - the open-source embedding database.
The fastest way to build Python or JavaScript LLM apps with memory!
https://gigazine.net/news/20230407-chrome-webgpu-release/
Chromium用のライブラリとFirefox用のライブラリはいずれもスタンドアローンのパッケージとして利用可能であり、すでにWebGLライブラリを使用していれば簡単にWebGPUを実装できるとのこと。
TensorFlow.jsが、WebGPUのサポートを追加
開発者のFleetwood氏は、～中略～「私はあまり最適化せずに2億5000万パラメーターの大規模言語モデルをブラウザで実行しましたが、かなりうまく機能します」とコメント
オープンソースの大規模言語モデルの実行環境
Github: https://github.com/oobabooga/text-generation-webui
A gradio web UI for running Large Language Models like GPT-J 6B, OPT, GALACTICA, LLaMA, and Pygmalion.
Its goal is to become the AUTOMATIC1111/stable-diffusion-webui of text generation.
大規模言語モデルを実行するためのサービス
一般的なものの30%の費用（らしい）
Fully managed NLP-as-a-Service delivered via API,
at 30% the cost. It's time to migrate.
オープンソースの大規模言語モデルによるチャットボット
Hugging Face: https://huggingface.co/spaces/togethercomputer/OpenChatKit
リリースノート: https://www.together.xyz/blog/openchatkit
Github: https://github.com/togethercomputer/OpenChatKit
Perplexity AI is an answer engine that delivers accurate answers to complex questions using large language models.
大規模言語モデルによる質問回答サービス。見た目は検索エンジンを模している。
