t_wの輪郭

T5

2023/6/15 21:41:00

LLM

2024/3/24 20:21:00

Large Language Model
大規模言語モデル

Ollama『歴代チャットボットと最近のLLMのまとめ』翻訳LLMLLM-jp-13BRakutenAI-7BNejumi LLMリーダーボード NeoLLMの1回のファインチューニングは50円でできることがあるLLM App『LLMの現在』infoboxの仕組み（想像）あれKnowAgent『LLMのファインチューニングを他手法との違いから理解する（Part 1）』パーソナルな大規模言語モデルChroma『LLMがもたらす組織構造の変化』LLMで人間が成長BitNet大規模言語モデル体験LongNetあれ『ChatGPTは「植民地化されたネットの象徴」　若手起業家が警鐘』Web Prowlerに大規模言語モデルを導入Web-LLMあれあれあれAlpacaオープンソースの大規模言語モデルText generation web UIPerplexity AI『GPUを使ってウェブ上のグラフィックスを改善するWebGLの後継API「WebGPU」がChrome 113ベータ版で利用可能に』DALL・E 2CodeTFあれCodeT5『「英語は新しいプログラミング言語であり、生成的AIは新しいコンパイラだ」。英語対応のためのSDK「English SDK for Apache Spark」をデータブリックスが発表』『Meta、独自大規模言語モデル（LLM）の「LLaMA」を限定リリース』LLaMAGPT-3Goose AIRWKVBLOOM『GPT-3に強力ライバル、1000人が作ったLLMはAI界の流れを変えるか？』あれあれプログラマーは大規模言語モデルによる変革にさらされているオープンな大規模言語モデルの進歩大規模言語モデルの小規模化あれ『Japanese Language Model Financial Evaluation Harness』大規模言語モデルをOSに搭載オープンソースの大規模言語モデルによるチャットボットあれあれネットワークの文章化Calm2LLMへの新規性の注入LLMのプロンプトは宣言的プログラミングQwenBard『Microsoft、Azure OpenAI Serviceに自社データを取り込んで活用できる機能をプレビュー提供』Microsoft、Azure OpenAI ServiceOrcaphi-1Orca2Phi-2大規模言語モデルによって検索サイトのビジネスモデルは崩壊し、セマンティックウェブの時代が到来する？Phi-3日本語LLMMultimodal LLMグループウェア的LLMあれあれあれ大規模言語モデルはメカソクラテスになれるかコード生成AIClaude V2あれLlama2『ラズパイで動く大規模言語モデルがGitHubで公開　性能は“GPT-3相当”、Metaの「LLaMA」派生 - ITmedia NEWS 』『大規模言語AIにアキレス腱、訓練用データが2026年にも枯渇か』大規模言語モデルは人類の知性を超えない大規模言語モデルにとってプログラミング言語は簡単大規模言語モデルの個人化LLM無職『大規模言語モデルは新たな知識か』TinyLlamagemma個人化した大規模言語モデルMicrosoft 365 Copilotあれ

応向分離

2023/11/20 23:15:00

おそらく一般的には応類と向類は同じ言語モデルで生成して検索に用いるのだが、応類と向類で異なる言語モデルを用いることで以下の利点が得られる。

  • 利用者の動向から向類を学習させ、漸次的に検索精度を向上させる
  • 利用者の動向から向類を学習させ、漸次的に個々の利用者に対して検索結果を変化させる
  • 上記をしつつ、更新費用が高くなる応類を不変あるいは低頻度での更新と出来る

レコメンドにおいても同様のことができ、同じような利点が得られる。


Two-Towerモデルと同一。

あれ

2023/6/22 21:05:00

遺伝的プログラミングで文章の類似度を学習させるの、CPUで一から学習させるには計算量が全然足りない。GPGPUで学習させたいが、再起的な構造と処理によって文章を処理しているために、GPGPUとは相性が悪い。構造から手をつけるべきか。

Transformerを参考にすると良さそうだが、あれを理解するのに手間取っている。さらに言えばAttentionも理解できていない。あり物のモデルを使ったり学習させるだけなら理解は不要だが、遺伝的プログラミングに組み込もうとすると十分に理解する必要がある。

普通の言語モデルも一から学習させると相応に時間がかかるだろうし、一晩で学習が進まないのを嘆くのは気が早すぎるかもしれない。私の投稿を学習データ化した物でさえ、一晩でやっと一巡できる程度だ。Wikipediaも学習データに含み出すととんでもない時間がかかる。