t_wの輪郭

Feedlyでフォローするボタン
言語モデルLLM大規模

LLM

2024/3/24 20:21:00

Large Language Model
大規模言語モデル

LLM App大規模言語モデルにとってプログラミング言語は簡単Chromaあれあれ大規模言語モデルによって検索サイトのビジネスモデルは崩壊し、セマンティックウェブの時代が到来する？大規模言語モデルの小規模化大規模言語モデルをOSに搭載個人化した大規模言語モデル大規模言語モデルの個人化『ChatGPTは「植民地化されたネットの象徴」　若手起業家が警鐘』LLMで人間が成長Phi-2Orca2phi-1OrcaLlama2Microsoft、Azure OpenAI ServiceQwenPerplexity AI『Microsoft、Azure OpenAI Serviceに自社データを取り込んで活用できる機能をプレビュー提供』あれMicrosoft 365 Copilotネットワークの文章化あれあれ『大規模言語AIにアキレス腱、訓練用データが2026年にも枯渇か』BardTinyLlama『大規模言語モデルは新たな知識か』LLMのプロンプトは宣言的プログラミングLLMへの新規性の注入Calm2LLM無職Web Prowlerに大規模言語モデルを導入あれあれGPT-3『「英語は新しいプログラミング言語であり、生成的AIは新しいコンパイラだ」。英語対応のためのSDK「English SDK for Apache Spark」をデータブリックスが発表』オープンソースの大規模言語モデルによるチャットボットDALL・E 2あれプログラマーは大規模言語モデルによる変革にさらされているオープンな大規模言語モデルの進歩『Japanese Language Model Financial Evaluation Harness』大規模言語モデル体験あれ大規模言語モデルは人類の知性を超えない『GPT-3に強力ライバル、1000人が作ったLLMはAI界の流れを変えるか？』BLOOMRWKVGoose AI『ラズパイで動く大規模言語モデルがGitHubで公開　性能は“GPT-3相当”、Metaの「LLaMA」派生 - ITmedia NEWS 』LLaMAオープンソースの大規模言語モデル『Meta、独自大規模言語モデル（LLM）の「LLaMA」を限定リリース』Text generation web UIあれ『GPUを使ってウェブ上のグラフィックスを改善するWebGLの後継API「WebGPU」がChrome 113ベータ版で利用可能に』あれあれあれinfoboxの仕組み（想像）Multimodal LLMZeroGPULLMを可変長n-gramで蒸留する『[3B5-TS-1] 大規模言語モデルの開発』あれローカルLLMPhi-3『歴代チャットボットと最近のLLMのまとめ』翻訳LLMコード生成AICodeTF『LLMがもたらす組織構造の変化』Ollamaあれ『LLMの現在』LongNet日本語LLMRakutenAI-7BLLM-jp-13BあれClaude V2LLMで筆跡の末端を生成するAlpacaグループウェア的LLMBitNetLLMが十分に高速になればモンテカルロ木探索が可能になるFlorenceKnowAgentあれパーソナルな大規模言語モデルLLMの1回のファインチューニングは50円でできることがある大規模言語モデルはメカソクラテスになれるか『LLMのファインチューニングを他手法との違いから理解する（Part 1）』gemmaqwen2llama.ttfChameleonWeb-LLMあれ『Can LLMs invent better ways to train LLMs?』LLMはモデレーションすると面白くなくなるあれ大阪弁のLLM音声+LLM+SNS批判的継承プロンプトCodeT5SpreadsheetLLM表LLMLLMでRSSを生成ALMvLLM『Xichuan: "逆に言えば LLM は単に言語モデルの一実装形態に過ぎないので、論理的推論とかまったくしてない。言…" - Fedibird』『Xichuan: "そもそもまず言語モデルという抽象的な概念があって、それをどのように実装するか、という観点から、長く…" - Fedibird』あれNejumi LLMリーダーボード NeovLLMでLLMをホスティングするサーバーが作れるあれGemma2tsuzumiTanuki-8B『大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価』Phi-3.5-mini『自社開発した大規模言語モデルをどうプロダクションに乗せて運用していくか〜インフラ編〜 - Speaker Deck』text-to-SQLLLaMA-OmniLLM-jp-3SmolLM間違わないLLMはDBと同じ間違わないLLMは、検索エンジンと同じllamafileLLM背後霊Model Context ProtocolLLMによる工数見積もりGraniteLCMクラウドサービス型LLMNova『AI は言語の基盤を獲得するか：推論の体系性の観点から』OpenRouterTitansJ-Moshi『（日銀レビュー）大規模言語モデルを用いた新たなテキスト分析の取組み ― 最近の賃金・物価動向に関する分析への応用 ― : 日本銀行 Bank of Japan』AMD-135MDeepSeek R1TinySwallow-1.5Bあれo3-miniLLMがソフトウェアを飲み込むAratako/Vecteus-v1-toxicあれあれVecteus『Metaがスケーラビリティを向上させたByte Latent Transformer LLMをオープンソース化 - InfoQ』Byte Latent Transformer LLMあれあれLLM FarmあれLLMの文章「（LLMに対して）スルスル書きやがって」自分が参加してない会議にLLMを送り込んで議事録をとらせるLLMにAAを書かせる試みClaude 3.7 SonnetGrok3Sarashina2.2-0.5BQwQ-32B『LLM and Prolog, a Marriage in Heaven? - General - SWI-Prolog』sbintuitions/sarashina2.2-3b-instruct-v0.1Sarashina2.2『Prolog’s Role in the LLM Era – Part 1 – Soft Coded Logic』あれGrokLLM推論LLM Benchmark『Deductive Time Travel – Prolog in the LLM Era – Thanksgiving Special – Soft Coded Logic』あれdLLM

あれ

2025/3/14 0:32:00

LLMでソースコードから仕様書作るの、試したら文字数多すぎて無理だった。

フラクタル要約ってのがあるので、こういうやり方で何か工夫すれば、なにがしかいけるやもしれん。

ソースコードってグラフ構造なので、グラフ要約？みたいな？エッジで、要約を、こう、いい感じに…………

グラフのエッジを要約で簡約してノード数を減らして行くんだよぉ！！！

dLLM

2025/3/1 14:16:00

Grok

2025/2/25 22:10:00

あれ

2025/2/24 22:37:00

良く知らん分野のやつをDeep Researchに入れても「ハァ？」ってなる。わからんもんはわからん。

根源的にLLMへの不信がある。

それはそれとして「AIが間違っててもええから速度だそうや」となる時代が来ると思う。
信心、あるいは「このAIはここまでならやってくれる」みたいな確率分布の把握。

批判的継承や。AIに対して批判的継承をやっていくぞ。

LLM Farm

2025/2/22 10:18:00

iOSとMacOSの上でLLMを動かすアプリ

あれ

2025/2/17 2:41:00

言葉を文法に沿って出力するだけなら数百万パラメーターのLLMでもやってくれる。

知識や論理的な推論の部分をより効率的な別の仕組みでやってやれば、超高効率なAIが作れるはず。

ただ現状だと「知識や論理的な推論の部分を担うより効率的な別の仕組み」がないので、ニューラルネットワークに誤差逆伝播法で埋め込むしかない。研究が待たれる。

Word2Vecがベクトルの可算と減算で単語の意味を演算できたみたいに、「概念」をベクトル化して、その可算と減算が定義できれば、人間がやってる思考を高効率に演算できるはず。

Metaが発表したLarge Concept Models（LCM）はその辺に関係がありそうで気になってる（まだ内容を読んでない）。

あれ

2025/2/17 1:53:00

GPT-4もバリエーションがあり、2023年のGPT-4ならGemma2 9bが上回っている[1]。

Gemma2 9bの量子化されたモデルは5.4GB[2]であり、GTX 1070Tiで動かせる。

2024年2月に出たGemma-7B-itよりも、2024年7月に出たGemma-2-2b-itの方がChatbot Alenaで勝ってるので、激烈な速度で高効率なモデルが開発されてる。2026年にスマホで2023年のGPT-4相当のモデルが動いている可能性すらある。



2023年5月の時には2024年2月ごろにスマホでGPT-4相当のモデルが動いてるかなと思ってた（大規模言語モデルの小規模化）けど外した。さすがにサンプル数が少なすぎた。


[1] https://huggingface.co/spaces/lmarena-ai/chatbot-arena-leaderboard
[2] https://ollama.com/library/gemma2:9b

あれ

2025/2/17 0:55:00

LLMをDBとしてみるなら、データの挿入と取得がもっと早くなってほしいところ

あれ

2025/2/2 15:51:00

どっかで5chに投稿された文章で学習されたLLMを見たんだけど、利用者からの質問に対して「死ねカス」と返していた。これが本当だと思った。

あれ

2025/2/2 13:58:00

無職して勉強したい。仕事でプログラム書いてる場合じゃない。無職して勉強したい。今無職するか、後で無職になるか。このままだとAIに置き換えられてしまう。

リスキル行くぞ！リスを抹殺だ！！！

o3-miniを見てまだ「プログラミングはAIに置き換えられない」と思えるほどの、正常性バイアスを持てない。

1年前からの様相の変化の度合いと、指数関数的変化の予測不可能性を鑑みると、1年後ぐらいには技術的にはAIが私のプログラミング能力を全領域で超えてる可能性がある。

プログラミングはおろか、「プログラム」そのものをLLMが置き換えうる。


少なくとも、労働時間より勉強の時間を増やさないといけない。
今の勉強時間では何も追いついてない。


いったん行動は保留しとこ。気の迷いの可能性が十分ある。

『Sakana AI、新手法「TAID」によって蒸留された高性能SLM「TinySwallow-1.5B」を公開 | gihyo.jp』やりたいこと2025年2月1日『SakanaAI/TinySwallow-ChatUI: Browser-based chat UI for TinySwallow-1.5B that runs without API calls.』『TinySwallow-1.5B Chat』『XユーザーのSakana AIさん: 「この度、新手法「TAID」を用いて学習された小規模日本語言語モデル「TinySwallow-1.5B」を公開しました。 https:t.co/U7qpbz2BgL 私たちは、大規模言語モデル（LLM）の知識を効率的に小規模モデルへ転移させる新しい知識蒸留手法「TAID (Temporally Adaptive Interpolated https:t.co/OUCy71ho42」 / X』『新手法「TAID」を用いた小規模日本語言語モデル「TinySwallow-1.5B」の公開』『TinySwallow - a SakanaAI Collection』ollama run https://huggingface.co/SakanaAI/TinySwallow-1.5B-Instruct-GGUF

Nova

2025/1/2 13:42:00

LCM

2024/12/26 13:16:00

あれ

2024/8/12 18:42:00

2年後の2026年には、トップのAIが人類の上位1%程度の知能に至る予感がしてきた。

LLMが論理的推論を苦手として、それを間違えることに注目されているけども、〝平均的〟な人間と比べて大差がそれほどない。と思う。根拠はない。

もし今のAIが〝平均的〟な人間と同じレベルに至っているならば、「コンピューターが人類のトップ1%を超える」という時点はすでにコップの半分まで来ている。

コップに水が貯まる速度は加速していく。量は残り半分でも、残り時間は全体の10%もない。

ALM

2024/7/26 20:46:00

Audio language model

vLLM

2024/7/26 20:37:00

あれ

2024/7/6 9:30:00

どこかで5チャンネルをデータセットとして学習したLLMを見たのだが、どこだったか思い出せない。検索しても見つからない。小気味よく暴言を吐いていたような気がする。

あれ

2024/6/2 14:26:00
  • 課題感
    • Prologだと個体と述語に名前をつけないといけない
    • 「名前」は異なる個体を指示したいにも関わらず衝突する
  • 解決策
    • 単語ベクトルや、文章ベクトルを個体や述語の名前として扱う
  • 余談
    • Prologの演算で得られたベクトルをLLMにぶち込めたら面白そう
    • Prologプログラムの実行で得られたベクトルをNNで自然言語に翻訳できると面白そう

あれ

2024/5/13 21:32:00

Siriに今のLLMをくっつけても、どうにも便利になる気がしない。私はアラームの設定とかぐらいしかしてないので、そういう用途ではLLMだと動作が不安定になって、インターフェースとして不便になるように思う。
動作が不安定だと、身体の延長として神経が通らなくなってしまう。

テレビのチャンネルを変えるのにわざわざLLMみたいな不安定なもん使うかというと、普通にリモコンのほうが便利だろうと。


ただ、より発展したAIが出てきた場合や、全く想定を超えた使い方が出てきた場合には、何らかの利便性が生じる可能性はある。
例えば、キーボードをまだ打てないような幼子の簡易的な家庭教師にできるかもしれない。

あれ

2024/5/8 22:23:00

LLMに知識の正確性を求めるの、何やねんという感じがある。

なんかもっと効率の良い方法があるのではないかと思う。