GPGPU
2022/7/10 9:09:00
あれ
2025/1/14 2:29:00
RadeonでGPGPUしようとするの、我ながらようやるわと思う。思い返すと大学生の頃にもOpenCLでなんとかやろうとしてたな。
ROCm
2024/9/21 14:50:00
『【ベンチマーク編】 Radeon Instinct MI50を買って機械学習用に使ってみる【ROCm】 - 端の知識の備忘録』APUでROCm『Linux ROCm経由でのRyzen 5600G GPUによるStable Diffusion WebUIの利用 #StableDiffusionWebUI - Qiita』あれ『Ryzen APU上のROCmでのメモリ割り当てに関する調査 #apu - Qiita』あれROCmインストールhipcc『ゲームもAIも両立！ROCm対応進化でRadeon GPUでもLLMライフを捗らせる！ #StableDiffusion - Qiita』あれあれあれ『AMD/ROCm: Changes required to detect and inference on AMD GPUs by deftdawg · Pull Request #763 · exo-explore/exo · GitHub』
GPGPUで遺伝的プログラミング
2023/7/9 20:48:00
『Accelerating Genetic Programming using GPUs』
2023/7/9 18:53:00
あれ
2023/7/4 0:19:00
WebGPUはコンピュートシェーダーとかいうGPGPU用のシェーダーが使えるので、スマホでWebGPUが使えるようになると色々捗る予感。
Cartesian Genetic Programmingで文章の類似度を学習言語モデルtzmtwtr/tw-posts-jaGPGPUknownetにベクトル検索を実装再帰的な処理再帰的な構造AttentionTransformer
あれ
2023/6/22 21:05:00
遺伝的プログラミングで文章の類似度を学習させるの、CPUで一から学習させるには計算量が全然足りない。GPGPUで学習させたいが、再起的な構造と処理によって文章を処理しているために、GPGPUとは相性が悪い。構造から手をつけるべきか。
Transformerを参考にすると良さそうだが、あれを理解するのに手間取っている。さらに言えばAttentionも理解できていない。あり物のモデルを使ったり学習させるだけなら理解は不要だが、遺伝的プログラミングに組み込もうとすると十分に理解する必要がある。
普通の言語モデルも一から学習させると相応に時間がかかるだろうし、一晩で学習が進まないのを嘆くのは気が早すぎるかもしれない。私の投稿を学習データ化した物でさえ、一晩でやっと一巡できる程度だ。Wikipediaも学習データに含み出すととんでもない時間がかかる。
GPGPUでは計算結果をテクスチャに出力する
2022/7/10 9:14:00
あれ
2022/7/10 9:06:00
CUDA
2021/5/1 23:59:00
CUDA Core『Accelerating Genetic Programming using GPUs』GPGPUでは計算結果をテクスチャに出力するBarracudaあれ『C++でシェーダを書く - Speaker Deck』node_modules/onnxruntime-node/bin/napi-v3/linux/x64/libonnxruntime_providers_cuda.soDGXあれ『【Ubuntu 24.04 LTS】NVIDIAドライバおよびCUDAのインストール #機械学習 - Qiita』『CUDA Toolkit Archive | NVIDIA Developer』
General-purpose computing on graphics processing units
2021/5/1 23:59:00
GPUによる汎用計算
2021/5/1 23:59:00