t_wの輪郭

言葉を文法に沿って出力するだけなら数百万パラメーターのLLMでもやってくれる。

知識や論理的な推論の部分をより効率的な別の仕組みでやってやれば、超高効率なAIが作れるはず。

ただ現状だと「知識や論理的な推論の部分を担うより効率的な別の仕組み」がないので、ニューラルネットワークに誤差逆伝播法で埋め込むしかない。研究が待たれる。

Word2Vecがベクトルの可算と減算で単語の意味を演算できたみたいに、「概念」をベクトル化して、その可算と減算が定義できれば、人間がやってる思考を高効率に演算できるはず。

Metaが発表したLarge Concept Models（LCM）はその辺に関係がありそうで気になってる（まだ内容を読んでない）。