t_wの輪郭

Feedlyでフォローするボタン

応向分離

2023/11/20 23:15:00

おそらく一般的には応類と向類は同じ言語モデルで生成して検索に用いるのだが、応類と向類で異なる言語モデルを用いることで以下の利点が得られる。

  • 利用者の動向から向類を学習させ、漸次的に検索精度を向上させる
  • 利用者の動向から向類を学習させ、漸次的に個々の利用者に対して検索結果を変化させる
  • 上記をしつつ、更新費用が高くなる応類を不変あるいは低頻度での更新と出来る

レコメンドにおいても同様のことができ、同じような利点が得られる。


Two-Towerモデルと同一。

LLM

2024/3/24 20:21:00

Large Language Model
大規模言語モデル

LLaMA-Omni『自社開発した大規模言語モデルをどうプロダクションに乗せて運用していくか〜インフラ編〜 - Speaker Deck』Phi-3.5-mini『大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価』Tanuki-8Btsuzumitext-to-SQLあれNejumi LLMリーダーボード Neoあれ『Xichuan: "そもそもまず言語モデルという抽象的な概念があって、それをどのように実装するか、という観点から、長く…" - Fedibird』『Xichuan: "逆に言えば LLM は単に言語モデルの一実装形態に過ぎないので、論理的推論とかまったくしてない。言…" - Fedibird』DALL・E 2LLMでRSSを生成表LLMCodeT5『LLMの現在』批判的継承プロンプトChameleon音声+LLM+SNS大阪弁のLLMあれLLMはモデレーションすると面白くなくなるWeb-LLMあれllama.ttfOllamaKnowAgent『LLMのファインチューニングを他手法との違いから理解する（Part 1）』LLMの1回のファインチューニングは50円でできることがあるパーソナルな大規模言語モデルLLMが十分に高速になればモンテカルロ木探索が可能になるText generation web UI『GPUを使ってウェブ上のグラフィックスを改善するWebGLの後継API「WebGPU」がChrome 113ベータ版で利用可能に』BitNetPerplexity AIあれinfoboxの仕組み（想像）Alpacaオープンソースの大規模言語モデルLLMで筆跡の末端を生成するCodeTFあれ『ChatGPTは「植民地化されたネットの象徴」　若手起業家が警鐘』Claude V2LLMで人間が成長Web Prowlerに大規模言語モデルを導入LLM AppあれLLM-jp-13B日本語LLMChroma『「英語は新しいプログラミング言語であり、生成的AIは新しいコンパイラだ」。英語対応のためのSDK「English SDK for Apache Spark」をデータブリックスが発表』LongNet大規模言語モデル体験『LLMがもたらす組織構造の変化』あれコード生成AI翻訳LLM『歴代チャットボットと最近のLLMのまとめ』Phi-3ローカルLLMあれあれあれ『[3B5-TS-1] 大規模言語モデルの開発』ZeroGPUあれMultimodal LLM『Meta、独自大規模言語モデル（LLM）の「LLaMA」を限定リリース』Llama2LLaMA『ラズパイで動く大規模言語モデルがGitHubで公開　性能は“GPT-3相当”、Metaの「LLaMA」派生 - ITmedia NEWS 』GPT-3Goose AIRWKVBLOOM『GPT-3に強力ライバル、1000人が作ったLLMはAI界の流れを変えるか？』大規模言語モデルは人類の知性を超えないあれあれプログラマーは大規模言語モデルによる変革にさらされている大規模言語モデルにとってプログラミング言語は簡単オープンな大規模言語モデルの進歩大規模言語モデルの個人化大規模言語モデルの小規模化あれ『Japanese Language Model Financial Evaluation Harness』大規模言語モデルをOSに搭載オープンソースの大規模言語モデルによるチャットボットあれあれネットワークの文章化Calm2LLM無職LLMへの新規性の注入LLMのプロンプトは宣言的プログラミング『大規模言語モデルは新たな知識か』QwenBardMicrosoft 365 Copilot『Microsoft、Azure OpenAI Serviceに自社データを取り込んで活用できる機能をプレビュー提供』Microsoft、Azure OpenAI ServiceOrcaphi-1Orca2Phi-2大規模言語モデルによって検索サイトのビジネスモデルは崩壊し、セマンティックウェブの時代が到来する？gemmavLLMvLLMでLLMをホスティングするサーバーが作れるSpreadsheetLLM『Can LLMs invent better ways to train LLMs?』あれ大規模言語モデルはメカソクラテスになれるかFlorenceグループウェア的LLMあれRakutenAI-7BLLMを可変長n-gramで蒸留するあれ『大規模言語AIにアキレス腱、訓練用データが2026年にも枯渇か』個人化した大規模言語モデルTinyLlamaあれALMqwen2

T5

2023/6/15 21:41:00

あれ

2023/6/22 21:05:00

遺伝的プログラミングで文章の類似度を学習させるの、CPUで一から学習させるには計算量が全然足りない。GPGPUで学習させたいが、再起的な構造と処理によって文章を処理しているために、GPGPUとは相性が悪い。構造から手をつけるべきか。

Transformerを参考にすると良さそうだが、あれを理解するのに手間取っている。さらに言えばAttentionも理解できていない。あり物のモデルを使ったり学習させるだけなら理解は不要だが、遺伝的プログラミングに組み込もうとすると十分に理解する必要がある。

普通の言語モデルも一から学習させると相応に時間がかかるだろうし、一晩で学習が進まないのを嘆くのは気が早すぎるかもしれない。私の投稿を学習データ化した物でさえ、一晩でやっと一巡できる程度だ。Wikipediaも学習データに含み出すととんでもない時間がかかる。