t_wの輪郭

遺伝的プログラミングで誤差逆伝播法行くぞ！！！

遺伝的プログラミング（Cartesian Genetic Programming）で得られたグラフ構造に内在するパラメーターを誤差逆伝播法で学習してやるのだぁ！！

遺伝的プログラミング単体ではどうにも学習が進まないのでやってやろうじゃねぇかよとなった。

『生成 AI に必要な「基盤モデル」のメモリ使用量 98％削減につながる技術を開発 ─ 自動運転車や工作用ロボット用組み込みシステムへの搭載を目指す』も背中を後押しした。良い構造の小さいモデルで良い性能が出せることが示された。

誤差逆伝播法に与える損失関数の勾配にベクトルの大きさを1.0に近づける勾配を加算したらめっちゃ学習するようになった。

というか出力の値が大きくなりすぎていた。

遺伝的プログラミングで生成したプログラムを誤差逆伝播で学習したくあるが、実装が割とめんどくさくさい。

何がめんどくさいかというと、微分が必要なのでプログラムを構成するノードに持たせる関数全てに対して微分した関数を作らなければいけない。

Pythonにおいては自動微分という強力な武器があるが、Go言語にはない、はずだ。