t_wの輪郭
フォローする
このサイトについて
9/5/2023, 10:51:00 PM

二つのベクトルの成す角を類似度として扱うやつ

1:似てる
0:無関係
-1:似てない

$$ cos(X, Y) = \frac{\sum_{i=1}^{N}(X_i Y_i)}{\sqrt{\sum_{i=1}^{N}(X_i^2)} \sqrt{\sum_{i=1}^{N}(Y_i^2)}} $$
Amazonで検索:コサイン類似度
9/6/2023, 9:16:00 PM

数値微分と結果が一致することを確認できた


コサイン類似度: \( cos(X, Y) = \frac{\sum_{i=1}^{N}(X_i Y_i)}{\sqrt{\sum_{i=1}^{N}(X_i^2)} \sqrt{\sum_{i=1}^{N}(Y_i^2)}} \)

目標とする類似度: \(t\)

コサイン類似度からなる損失関数: \( L(X, Y, t) = (t- cos(X, Y))^2 \)

より

コサイン類似度からなる損失関数を\(X_i\)について偏微分した式

$$ \frac{\partial L(X, Y, t)}{\partial X_i} = \frac{\partial(t-cos(X,Y))^2}{\partial X_i} = \frac{\partial(t-cos(X,Y))^2}{\partial (t-cos(X,Y))} \frac{\partial(t-cos(X,Y))}{\partial cos(X,Y)} \frac{\partial cos(X,Y)}{\partial X_i} $$

を求める。


$$ \frac{\partial(t-cos(X,Y))^2}{\partial (t-cos(X,Y))} = 2(t-cos(X,Y))$$
読み込み中...
Amazonで検索:コサイン類似度からなる損失関数の微分
9/5/2023, 10:52:00 PM

デライトの数式表示機能にマジ感謝のガンジャ

Amazonで検索:あれ
7/26/2023, 12:01:00 AM
Amazonで検索:コサイン類似度を目標値に近づける
7/25/2023, 11:58:00 PM

Amazonで検索:コサイン類似度を目標値に近づける勾配の微分の計算過程(できてない)
7/25/2023, 11:54:00 PM

Amazonで検索:あれ
7/25/2023, 11:47:00 PM
Amazonで検索:ベクトル同士の角度をベクトルの『類似度』として見なしてるんですねぇ
7/25/2023, 9:39:00 AM

sentence embeddingの学習のために、コサイン類似度(cos(X,Y) - target_similarity)^2 の微分がしたいが、もはや微分は記憶の彼方。

Amazonで検索:あれ