t_wの輪郭

https://github.com/sugarme/transformer
Go言語で書かれたTransformerの学習・推論ライブラリ

https://github.com/OpenNMT/CTranslate2

「CTranslate2」は、Transformerモデルを効率的に推論するためのC++ および Python ライブラリです。

接触元 『Google Colab + CTranslate2 による Rinnaの高速推論を試す』

iPadのIMEの漢字変換が賢い。

Gboardよりも長文の変換結果がしっくりくる。Transformerを載せているだけのことはある。

「知名」とか「輪結」のような一般的でない語であっても、一度変換すれば覚えてくれる。デライトと相性が良い。前景後景のドラッグ&ドロップもできるのでiPhoneが欲しくなる。

https://www.hello-statisticians.com/ml/deeplearning/transformer1.html

https://arxiv.org/abs/2305.18741

遺伝的プログラミングで文章の類似度を学習させるの、CPUで一から学習させるには計算量が全然足りない。GPGPUで学習させたいが、再起的な構造と処理によって文章を処理しているために、GPGPUとは相性が悪い。構造から手をつけるべきか。

Transformerを参考にすると良さそうだが、あれを理解するのに手間取っている。さらに言えばAttentionも理解できていない。あり物のモデルを使ったり学習させるだけなら理解は不要だが、遺伝的プログラミングに組み込もうとすると十分に理解する必要がある。

普通の言語モデルも一から学習させると相応に時間がかかるだろうし、一晩で学習が進まないのを嘆くのは気が早すぎるかもしれない。私の投稿を学習データ化した物でさえ、一晩でやっと一巡できる程度だ。Wikipediaも学習データに含み出すととんでもない時間がかかる。

(https://youtu.be/Gf5CWUIDGOU)

https://arxiv.org/pdf/1706.03762.pdf

Transformerを発表した論文