t_wの輪郭

応向分離

2023/11/20 14:15:00

おそらく一般的には応類向類は同じ言語モデルで生成して検索に用いるのだが、応類向類で異なる言語モデルを用いることで以下の利点が得られる。

  • 利用者の動向から向類を学習させ、漸次的に検索精度を向上させる
  • 利用者の動向から向類を学習させ、漸次的に個々の利用者に対して検索結果を変化させる
  • 上記をしつつ、更新費用が高くなる応類を不変あるいは低頻度での更新と出来る

レコメンドにおいても同様のことができ、同じような利点が得られる。


Two-Towerモデルと同一。

Two-Towerモデル

2023/11/20 14:15:00

レコメンドシステムにおいて、ユーザーのEmbeddingを計算するモデル(Query Tower)と、推薦対象のEmbeddingを検索するモデル(Candidate TowerあるいはDocument Tower)の2つを使う手法。

検索システムにおいてはQuery towerで検索文のEmbeddingを生成する。

dual encoderとも呼ばれている。

あれ

2023/7/24 14:46:00

世は電子阿片時代

脳と直結したコンテンツ生成器が脳内麻薬を最大化する時代

Youtubeのレコメンドシステムに萌芽を見る

あれ

2023/5/28 2:50:00

昨晩Youtubeで「Second Brain」とか「Notetaiking」で検索して、英語の動画をだらだら見ていた。

英語の学習には5分とかの短い英語の動画を渡り歩くのが良さそうだ。分からなくなっても他の動画へ行けば良いので、苦痛が少ない。

レコメンド機能のおかげで、興味のある動画を集めやすいのも良い。