t_wの輪郭

Feedlyでフォローするボタン
Cartesian Genetic Programmingで文章の類似度を学習ヒートマップSentence EmbeddingGo言語LLM遺伝的プログラミングknownetにベクトル検索を実装

あれ

2023/6/18 14:57:00

ボロボロの研究成果です

遺伝的プログラミング、精度出ねぇんだわ。

でも、モデルのサイズは小さいぞ!!
812KBや。
一般的な大規模言語モデルというかディイイイイイプラーニングはGBとかサクッと行く


食事の文章に関してはいい感じに類似判定されているのは、データ元の人格が出てますねぇ。

あれ学習には遺伝的プログラミングというのを使っていますあれあれあれ

あれ

2023/6/18 19:06:00

時間経過で学習が進まない……!
いまだかつてない雑な実装をしたせいだろうか

普通、遺伝的アルゴリズムないし遺伝的プログラミングを実装するときは、全個体を評価した後に、その評価を元に新世代に総とっかえするんだけど、今回実装がめんどかったので、以下のような処理でごまかしてる

  1. ランダムに2体取り出してくる
  2. 交叉と突然変異で新個体を作る
  3. 1. で取り出した個体のうち評価が低いものを新個体と入れ替える

あれ

2023/6/18 18:11:00

「スシパーティーナイト」と「来週は豪勢な食事をする」を近しいと学習したAI
そんな学習データにそんな文字列を入れた覚えはない。

あれ

2023/6/18 15:08:00

Go言語でいい感じのヒートマップ出すのに430行も必要で結構大変だった

あれ

2023/6/18 14:59:00

GO言語で並列処理させてCPUぶん回してるから廃熱で暑い。
機械学習とか夏にやるもんじゃない。