t_wの輪郭

Feedlyでフォローするボタン
レコメンド応向分離dual encoder

Two-Towerモデル

2023/11/20 23:15:00

レコメンドシステムにおいて、ユーザーのEmbeddingを計算するモデル（Query Tower）と、推薦対象のEmbeddingを検索するモデル（Candidate TowerあるいはDocument Tower）の2つを使う手法。

検索システムにおいてはQuery towerで検索文のEmbeddingを生成する。

dual encoderとも呼ばれている。

あれE5でTwo-TowerモデルっぽいことができるHyDEは有効ではない『Tensorflow Recommendersの精度を上げるためのテクニック』『Mixed Negative Sampling for Learning Two-tower NeuralNetworks in Recommendation』『Two-Towerモデルと近似最近傍探索による候補生成ロジックの導入』

HyDEは有効ではない

2023/11/20 23:32:00

結論としてはHyDEはそれほど有効ではないことです。少し改善すれば性能は良くなりますが、検索スピードは非常に遅いですし、コストも大幅増加するので、ほぼ実用ではない手法といえます。

HyDEはLLMで質問文を生成するので、遅いし費用も掛かる。
モデルの学習のコストを掛けられるのであれば、Two-Towerモデルのほうが早く検索できて良さそうに思える。