『Multi-level Residual Networks from Dynamical Systems View』
『ReLoRA: High-Rank Training Through Low-Rank Updates』
『モデル拡張によるパラメータ効率的な LLM の事前学習』
『Injecting Knowledge Graphs into Large Language Models』
『Contrastive Decoding: Open-ended Text Generation as Optimization』
『Distributionally Robust Optimization』
『Intelligent Scheduling with Reinforcement Learning』
『Catastrophic forgetting in connectionist networks』
『Overcoming catastrophic forgetting in neural networks』
『作業記憶の発達的特性が言語獲得の臨界期を形成する』
『Counterfactual Token Generation in Large Language Models』
『An LLM Compiler for Parallel Function Calling』
『Japanese MT-bench++: より自然なマルチターン対話設定の 日本語大規模ベンチマーク』
『Adversarial Examples Are Not Bugs, They Are Features』
『TrendScape 1.0: 言語モデルの潜在空間上の概念探索』
『Revisiting Model Stitching to Compare Neural Representations』
『Large Language Models on Graphs: A Comprehensive Survey』
『DTGB: A Comprehensive Benchmark for Dynamic Text-Attributed Graphs』
『大規模言語モデルによる要求仕様書の品質評価』
読んだ論文を生成AIに説明する
論文読み
論文を読む
『ほぼ毎日論文を読んで365日になった! - noki - Medium』
あれ
うおお!探してた論文見つかった!!
日本語で探してもなしのつぶてだけども、英語で探すと見つかるな。こういうのは。
『Object- Oriented User Interfaces and Object-Oriented Languages』
2023年11月16日日記
昨日、狂ったようにプログラムを書いた反動で頭がうまく働かなかった。knownetでAPIを叩いている部分をNext.jsのServer Actionで置き換えようとしたが、理解が足りずにうまく動かずにいる。3000行ほど書いたけど全部捨てよっか。
とりあえず、AmplifyのGraphQL APIを叩くにおいては認証(認可?)でnext/headersを使わずにdocument.cookieを使った方が良いということがわかった。next/headersを使うと、Server Actionの呼び出し元のComponentに始まり、すべての呼び出し元となるComponentをServer Component(RSC?)にしないと動かなくなってしまう。しかもそれが連鎖するので影響範囲がでかい。地獄。サンプルでnext/headersを使うのをやめろ。
副業の受注が確定した。コンペで競合がつよつよエンジニア出してきてたらしいけど、私が勝った。イエーイ。単価が安すぎる説はある。
Cartesian Genetic Programmingで文章の類似度を学習をやってたこととかを伝えたのが効いたのだろう。怪しい研究はしておくものだ。怪しさ故に「やっとるな」って感じが出て良い。もちろんBERTのファインチューニングみたいな王道についてもやったことがあることを伝えておいた。
なんか大学の研究室で客員研究員をやらせてもらえそうな感じになっている。副業先への仲介をしてくれる会社の社長が、大学で教授をやっており、「どう?」という感じで声を掛けられた。縁やわ。大学行き直したいとか思っていたので、渡りに船だ。特に今の会社をやめる必要もなく、研究成果が出たら論文を出して博士号とろうぜという感じらしい。無職になって学費を払って大学に行くことを考えていたので、そんな都合の良いことをやっていいんだとなった。今までよくわからんものを作ってきたのが論文にできるかもしれない。
夕飯のあと、どうも物足りなかったので、買い置きたる栗を食べた。焼き栗のつもりで食べたら生だった。生でも甘みが感じられる。すごい。15分焼いたら半生だった。45分ほど焼いたらそれなりになった。そうこうしているうちに満腹中枢が刺激され、物足りなさは消えていた。
あれ
デライト及び輪郭法を論文にする
輪郭法の理解が進めば書けるのでは?
論文を出せば、学術関係の人にデライトを広められるのでは?
いや、いっそ本にしてしまうのも良いか。
実現にこぎつけられるかは結構怪しい。
論文には著作権がある
学術分野における創作物として、一般に各論文には著作権があると著作権法第2条1項1号に定められています。
『学術誌や学会誌の論文と著作権について』
『体験の観察が well-being を向上させる条件 ―無執着の観点から―』
1時間で資料の第0稿をでっち上げる必要が出た
いつ どこ なに なぜ どうやって(どうすれば)をつかってとりあえず要件を固める
論文の骨格を使って資料の骨格を作る
http://ymatsuo2.sakura.ne.jp/surveyscript/survey.htm
論文がサーベイされてるサイト
簡単な説明と感想が載ってる
どこかの研究者がちまちまやってるのだと思われる
『Be Your Own Teacher: Improve the Performance of Convolutional Neural Networks via Self Distillation』
https://arxiv.org/abs/1905.08094
すごい論文。自己蒸留と言っているが、最終層の出力と、中間層の出力を近づけるような制約を入れることで、最終層の結果をより早く出せるようになり、結果として最終層の精度が上がる。(エージェント的により早く予測するものが生き残るという考え方とも共通。)CIFAR100やImagenetのtop-1で1-2%あがっている感じ。かなり大きい上がり幅。
http://ymatsuo2.sakura.ne.jp/surveyscript/survey.htm