LLM
Large Language Model
大規模言語モデル
Large Language Model
大規模言語モデル
Prolog MCP、作りっぱなしになってる。
純粋に記号の演算だと、大規模な知識を自動で扱うのは難しそうな気がしていて(同音異義語が難しそう)、別な仕組みが欲しい。
LLMが全部面倒見てくれて、記号が意図しない衝突した時にいい感じにメンテしてくれるなら、ワンチャンあるかも。
LLMでソースコードから仕様書作るの、試したら文字数多すぎて無理だった。
フラクタル要約ってのがあるので、こういうやり方で何か工夫すれば、なにがしかいけるやもしれん。
ソースコードってグラフ構造なので、グラフ要約?みたいな?エッジで、要約を、こう、いい感じに…………
グラフのエッジを要約で簡約してノード数を減らして行くんだよぉ!!!
良く知らん分野のやつをDeep Researchに入れても「ハァ?」ってなる。わからんもんはわからん。
根源的にLLMへの不信がある。
それはそれとして「AIが間違っててもええから速度だそうや」となる時代が来ると思う。
信心、あるいは「このAIはここまでならやってくれる」みたいな確率分布の把握。
批判的継承や。AIに対して批判的継承をやっていくぞ。
言葉を文法に沿って出力するだけなら数百万パラメーターのLLMでもやってくれる。
知識や論理的な推論の部分をより効率的な別の仕組みでやってやれば、超高効率なAIが作れるはず。
ただ現状だと「知識や論理的な推論の部分を担うより効率的な別の仕組み」がないので、ニューラルネットワークに誤差逆伝播法で埋め込むしかない。研究が待たれる。
Word2Vecがベクトルの可算と減算で単語の意味を演算できたみたいに、「概念」をベクトル化して、その可算と減算が定義できれば、人間がやってる思考を高効率に演算できるはず。
Metaが発表したLarge Concept Models(LCM)はその辺に関係がありそうで気になってる(まだ内容を読んでない)。
GPT-4もバリエーションがあり、2023年のGPT-4ならGemma2 9bが上回っている[1]。
Gemma2 9bの量子化されたモデルは5.4GB[2]であり、GTX 1070Tiで動かせる。
2024年2月に出たGemma-7B-itよりも、2024年7月に出たGemma-2-2b-itの方がChatbot Alenaで勝ってるので、激烈な速度で高効率なモデルが開発されてる。2026年にスマホで2023年のGPT-4相当のモデルが動いている可能性すらある。
2023年5月の時には2024年2月ごろにスマホでGPT-4相当のモデルが動いてるかなと思ってた(大規模言語モデルの小規模化)けど外した。さすがにサンプル数が少なすぎた。
[1] https://huggingface.co/spaces/lmarena-ai/chatbot-arena-leaderboard
[2] https://ollama.com/library/gemma2:9b
久々に探したら見つかった!!!
出力例
入力
[INST] こんにちは [/INST]出力
死ねゴミカスクソ野郎
どっかで5chに投稿された文章で学習されたLLMを見たんだけど、利用者からの質問に対して「死ねカス」と返していた。これが本当だと思った。
無職して勉強したい。仕事でプログラム書いてる場合じゃない。無職して勉強したい。今無職するか、後で無職になるか。このままだとAIに置き換えられてしまう。
リスキル行くぞ!リスを抹殺だ!!!
o3-miniを見てまだ「プログラミングはAIに置き換えられない」と思えるほどの、正常性バイアスを持てない。
1年前からの様相の変化の度合いと、指数関数的変化の予測不可能性を鑑みると、1年後ぐらいには技術的にはAIが私のプログラミング能力を全領域で超えてる可能性がある。
プログラミングはおろか、「プログラム」そのものをLLMが置き換えうる。
少なくとも、労働時間より勉強の時間を増やさないといけない。
今の勉強時間では何も追いついてない。
いったん行動は保留しとこ。気の迷いの可能性が十分ある。
2年後の2026年には、トップのAIが人類の上位1%程度の知能に至る予感がしてきた。
LLMが論理的推論を苦手として、それを間違えることに注目されているけども、〝平均的〟な人間と比べて大差がそれほどない。と思う。根拠はない。
もし今のAIが〝平均的〟な人間と同じレベルに至っているならば、「コンピューターが人類のトップ1%を超える」という時点はすでにコップの半分まで来ている。
コップに水が貯まる速度は加速していく。量は残り半分でも、残り時間は全体の10%もない。
どこかで5チャンネルをデータセットとして学習したLLMを見たのだが、どこだったか思い出せない。検索しても見つからない。小気味よく暴言を吐いていたような気がする。
Siriに今のLLMをくっつけても、どうにも便利になる気がしない。私はアラームの設定とかぐらいしかしてないので、そういう用途ではLLMだと動作が不安定になって、インターフェースとして不便になるように思う。
動作が不安定だと、身体の延長として神経が通らなくなってしまう。
テレビのチャンネルを変えるのにわざわざLLMみたいな不安定なもん使うかというと、普通にリモコンのほうが便利だろうと。
ただ、より発展したAIが出てきた場合や、全く想定を超えた使い方が出てきた場合には、何らかの利便性が生じる可能性はある。
例えば、キーボードをまだ打てないような幼子の簡易的な家庭教師にできるかもしれない。