t_wの輪郭

Feedlyでフォローするボタン
言語モデルLLM大規模

LLM

2024/3/24 20:21:00

Large Language Model
大規模言語モデル

LLM App大規模言語モデルにとってプログラミング言語は簡単Chromaあれあれ大規模言語モデルによって検索サイトのビジネスモデルは崩壊し、セマンティックウェブの時代が到来する？大規模言語モデルの小規模化大規模言語モデルをOSに搭載個人化した大規模言語モデル大規模言語モデルの個人化『ChatGPTは「植民地化されたネットの象徴」　若手起業家が警鐘』LLMで人間が成長Phi-2Orca2phi-1OrcaLlama2Microsoft、Azure OpenAI ServiceQwenPerplexity AI『Microsoft、Azure OpenAI Serviceに自社データを取り込んで活用できる機能をプレビュー提供』あれMicrosoft 365 Copilotネットワークの文章化あれあれ『大規模言語AIにアキレス腱、訓練用データが2026年にも枯渇か』BardTinyLlama『大規模言語モデルは新たな知識か』LLMのプロンプトは宣言的プログラミングLLMへの新規性の注入Calm2LLM無職Web Prowlerに大規模言語モデルを導入あれあれGPT-3『「英語は新しいプログラミング言語であり、生成的AIは新しいコンパイラだ」。英語対応のためのSDK「English SDK for Apache Spark」をデータブリックスが発表』オープンソースの大規模言語モデルによるチャットボットDALL・E 2『Japanese Language Model Financial Evaluation Harness』あれプログラマーは大規模言語モデルによる変革にさらされているオープンな大規模言語モデルの進歩大規模言語モデル体験あれ大規模言語モデルは人類の知性を超えない『GPT-3に強力ライバル、1000人が作ったLLMはAI界の流れを変えるか？』BLOOMRWKVGoose AI『ラズパイで動く大規模言語モデルがGitHubで公開　性能は“GPT-3相当”、Metaの「LLaMA」派生 - ITmedia NEWS 』LLaMAオープンソースの大規模言語モデル『Meta、独自大規模言語モデル（LLM）の「LLaMA」を限定リリース』Text generation web UIあれ『GPUを使ってウェブ上のグラフィックスを改善するWebGLの後継API「WebGPU」がChrome 113ベータ版で利用可能に』あれあれあれinfoboxの仕組み（想像）Multimodal LLMZeroGPULLMを可変長n-gramで蒸留する『[3B5-TS-1] 大規模言語モデルの開発』あれローカルLLMPhi-3『歴代チャットボットと最近のLLMのまとめ』翻訳LLMコード生成AICodeTF『LLMがもたらす組織構造の変化』Ollamaあれ『LLMの現在』LongNet日本語LLMRakutenAI-7BLLM-jp-13BあれClaude V2LLMで筆跡の末端を生成するAlpacaグループウェア的LLMBitNetLLMが十分に高速になればモンテカルロ木探索が可能になるFlorenceKnowAgentあれパーソナルな大規模言語モデルLLMの1回のファインチューニングは50円でできることがある大規模言語モデルはメカソクラテスになれるか『LLMのファインチューニングを他手法との違いから理解する（Part 1）』gemmaqwen2llama.ttfChameleonWeb-LLMあれ『Can LLMs invent better ways to train LLMs?』LLMはモデレーションすると面白くなくなるあれ大阪弁のLLM音声+LLM+SNS批判的継承プロンプトCodeT5SpreadsheetLLM表LLMLLMでRSSを生成ALMvLLM『Xichuan: "逆に言えば LLM は単に言語モデルの一実装形態に過ぎないので、論理的推論とかまったくしてない。言…" - Fedibird』『Xichuan: "そもそもまず言語モデルという抽象的な概念があって、それをどのように実装するか、という観点から、長く…" - Fedibird』あれNejumi LLMリーダーボード NeovLLMでLLMをホスティングするサーバーが作れるあれtsuzumiTanuki-8B『大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価』Phi-3.5-mini『自社開発した大規模言語モデルをどうプロダクションに乗せて運用していくか〜インフラ編〜 - Speaker Deck』text-to-SQLLLaMA-OmniLLM-jp-3SmolLM間違わないLLMはDBと同じ間違わないLLMは、検索エンジンと同じllamafileModel Context ProtocolLLM背後霊

あれ

2024/8/12 18:42:00

2年後の2026年には、トップのAIが人類の上位1%程度の知能に至る予感がしてきた。

LLMが論理的推論を苦手として、それを間違えることに注目されているけども、〝平均的〟な人間と比べて大差がそれほどない。と思う。根拠はない。

もし今のAIが〝平均的〟な人間と同じレベルに至っているならば、「コンピューターが人類のトップ1%を超える」という時点はすでにコップの半分まで来ている。

コップに水が貯まる速度は加速していく。量は残り半分でも、残り時間は全体の10%もない。

ALM

2024/7/26 20:46:00

Audio language model

vLLM

2024/7/26 20:37:00

あれ

2024/7/6 9:30:00

どこかで5チャンネルをデータセットとして学習したLLMを見たのだが、どこだったか思い出せない。検索しても見つからない。小気味よく暴言を吐いていたような気がする。

あれ

2024/6/2 14:26:00
  • 課題感
    • Prologだと個体と述語に名前をつけないといけない
    • 「名前」は異なる個体を指示したいにも関わらず衝突する
  • 解決策
    • 単語ベクトルや、文章ベクトルを個体や述語の名前として扱う
  • 余談
    • Prologの演算で得られたベクトルをLLMにぶち込めたら面白そう
    • Prologプログラムの実行で得られたベクトルをNNで自然言語に翻訳できると面白そう

あれ

2024/5/13 21:32:00

Siriに今のLLMをくっつけても、どうにも便利になる気がしない。私はアラームの設定とかぐらいしかしてないので、そういう用途ではLLMだと動作が不安定になって、インターフェースとして不便になるように思う。
動作が不安定だと、身体の延長として神経が通らなくなってしまう。

テレビのチャンネルを変えるのにわざわざLLMみたいな不安定なもん使うかというと、普通にリモコンのほうが便利だろうと。


ただ、より発展したAIが出てきた場合や、全く想定を超えた使い方が出てきた場合には、何らかの利便性が生じる可能性はある。
例えば、キーボードをまだ打てないような幼子の簡易的な家庭教師にできるかもしれない。

あれ

2024/5/8 22:23:00

LLMに知識の正確性を求めるの、何やねんという感じがある。

なんかもっと効率の良い方法があるのではないかと思う。

あれ

2024/3/24 21:58:00

infoboxを見るに、文章要約タスクをするLLMがあれば表が作れるっぽい。

ただし、表の列名とうまく適合するように文章を要約できなければならない。

Scrapboxのページを独自のLLMで表のカラム名に合うように要約している。一度要約したら、その内容をDBなどに保存して再利用する（都度計算は流石に処理負荷が高いので）。


なぜ独自のLLMを使っていると思うかというと、

あれ

2024/2/11 12:33:00

Reactコンポーネントの中に説明を書くと、LLMが中身を実装してくれるReactコンポーネントをXのどこかで見たのだけど、どこだったか思い出せない 

<LlmComponent>
　コンポーネントの説明（プロンプト）
</LlmComponent>

みたいな感じ

Bard

2024/2/8 20:43:00

あれ

2023/12/1 21:39:00

ちょっと邪悪なアイデアなんだけども、検索エンジンに偽装すればペイウォールを突破して有料記事が取得できるし、『Textbooks Are All You Need』みたいに学習データの質がLLMの質に直結するって研究もあるし、ペイウォールの先のコンテンツをつかってLLMを学習させれば良いLLMが作れるんじゃなかろうか。

あれ

2023/6/18 14:57:00

ボロボロの研究成果です

遺伝的プログラミング、精度出ねぇんだわ。

でも、モデルのサイズは小さいぞ！！
812KBや。
一般的な大規模言語モデルというかディイイイイイプラーニングはGBとかサクッと行く


食事の文章に関してはいい感じに類似判定されているのは、データ元の人格が出てますねぇ。

あれ

2023/6/11 23:13:00

プログラミングはアレですよ、斜陽の技術ですよ。

大規模言語モデルがプログラミング言語より難しい自然言語をブリブリやってるんだから、語彙も少なく、評価も簡単なプログラミング言語なんてあっという間ですよ

実際、Githubがインドのエンジニア全員を解雇してる。
https://www.cnbctv18.com/education/microsoft-backed-github-fires-entire-india-engineering-team--is-ai-at-play-16296921.htm

Orca

2023/6/10 23:24:00

あれ

2023/5/29 18:37:00

Nvidiaの株価が上がった話を聞いてると、株買っとけばよかったなとなる。

大規模言語モデルにGPUが使われているのだから簡単に分かった話だ。

証券口座を作るのをめんどくさがってしまった。

ただ、これからは違う。証券口座を作る手続きを進めているのだ。
次の波には乗りたい。