自然言語

<a class="URI" href="https://github.com/pfnet-research/japanese-lm-fin-harness" target="_blank" rel="noopener nofollow ugc">https://github.com/pfnet-research/japanese-lm-fin-harness</a>

 https://github.com/pfnet-research/japanese-lm-fin-harness
 

『Japanese Language Model Financial Evaluation Harness』

大規模言語モデル

金融

<a class="URI" href="https://surrealdb.com/" target="_blank" rel="noopener nofollow ugc">https://surrealdb.com/</a>

SurrealDB

<a class="URI" href="https://arxiv.org/abs/2204.07496" target="_blank" rel="noopener nofollow ugc">https://arxiv.org/abs/2204.07496</a>

『Improving Passage Retrieval with Zero-Shot Question Generation』

Hypothetical Document Embedding

2023年11月20日

Misskey.ioに<a class="oln" data-kno="K#/36EA" href="/36EA">ルビ機能</a>が来たので、<a class="oln" data-kno="K#/516A" href="/516A">カタカナ・希哲館訳語変換サービス</a>の改修の報知をした。
 　<a class="URI" href="https://misskey.io/notes/9m9ogghzbxld00v2" target="_blank" rel="noopener nofollow ugc">https://misskey.io/notes/9m9ogghzbxld00v2</a>
 　今日は仕事では<a class="oln" data-kno="K#/DB90" href="/DB90">システムが吹っ飛んだ件を調査していた</a>。まじで勘弁してほしい。問い合わせが帰ってきて、色々確定したら情報をまとめたい。現状だと確定していないので、「〇〇サービスで✕✕するとデータやユーザーアカウントが全部消える」とか軽率に言うことはできない。
 　多分、普段私の投稿を見ている人にはどのサービスなのかはなんとなく察しがついてしまっているだろう。
 　<a class="oln" data-kno="K#/B10B" href="/B10B">K研究室</a>の通話にて、<a class="oln" data-kno="K#/4576" href="/4576">K教授</a>や他の<a class="oln" data-kno="K#/0F6B" href="/0F6B">客員研究員</a>の人と話した。
 　やはり私は知識の面においてかなりブランクがあることがわかった。大学を離れてからもう6年も経っているし、その間にキャッチアップできる情報にも限りがある。
　大学院での研究で調子を崩してから余裕がなくなって、ずっと実務しかできていなかった。最近になってやっと色々できるようになってきた。ブランクを取り戻さねば。
 　実務能力は大学院にいたときより遥かに高くなっているし、デライトという強い味方もある。研究、やっていきたい。
 　あと、私は変なことをするときに<a class="oln" data-kno="K#/20E3" href="/20E3">先行事例</a>の調査が甘いままに、実装や実験に突っ走る傾向があるので、もうちょっと調査の時間を多く取っても良い気がした。あと環境も大きい。今日の通話で「画像と文章のEmbeddingを同じ長さにして学習してやれば文章から画像が検索できますよね」とか言ったら、<a class="oln" data-kno="K#/5230" href="/5230">Multimodal Embedding</a>がすでにあることを教えてもらった。やっぱ<a class="oln" data-kno="K#/8578" href="/8578">先行研究</a>あるよなぁ。「先行研究が無いなら研究する価値がない」って昔言われたし、研究する価値があるなら先行研究があるのだ。

 　Misskey.ioにルビ機能が来たので、カタカナ・希哲館訳語変換サービスの改修の報知をした。
　https://misskey.io/notes/9m9ogghzbxld00v2
　今日は仕事ではシステムが吹っ飛んだ件を調査していた。まじで勘弁してほしい。問い合わせが帰ってきて、色々確定したら情報をまとめたい。現状だと確定していないので、「〇〇サービスで✕✕するとデータやユーザーアカウントが全部消える」とか軽率に言うことはできない。
　多分、普段私の投稿を見ている人にはどのサービスなのかはなんとなく察しがついてしまっているだろう。
　K研究室の通話にて、K教授や他の客員研究員の人と話した。
　やはり私は知識の面においてかなりブランクがあることがわかった。大学を離れてからもう6年も経っているし、その間にキャッチアップできる情報にも限りがある。
　大学院での研究で調子を崩してから余裕がなくなって、ずっと実務しかできていなかった。最近になってやっと色々できるようになってきた。ブランクを取り戻さねば。
　実務能力は大学院にいたときより遥かに高くなっているし、デライトという強い味方もある。研究、やっていきたい。
　あと、私は変なことをするときに先行事例の調査が甘いままに、実装や実験に突っ走る傾向があるので、もうちょっと調査の時間を多く取っても良い気がした。あと環境も大きい。今日の通話で「画像と文章のEmbeddingを同じ長さにして学習してやれば文章から画像が検索できますよね」とか言ったら、Multimodal Embeddingがすでにあることを教えてもらった。やっぱ先行研究あるよなぁ。「先行研究が無いなら研究する価値がない」って昔言われたし、研究する価値があるなら先行研究があるのだ。
  

2023年11月20日日記

Misskey v2023.11.1から利用可能となっている

 Misskey v2023.11.1から利用可能となっている
  

Misskeyのルビ機能

「先行研究が無いなら研究する価値がない」の対偶は「研究する価値があるなら先行研究がある」

先行事例

<h2>再現手順</h2><a class="oln" data-kno="K#/9977" href="/9977">Amplify</a>を触ったことがある人を対象としているため、画像を貼ったりせず、事細かには説明しない。適宜補完してほしい。
<h3>本番と見なすAmplifyのアプリを作成する</h3><h4>ダミーのウェブアプリを作る</h4><ol><li>Githubに空のレポジトリを作成する<li>GithubからレポジトリをCloneする<li>ローカルの端末で<code>npx create-react-app amplify_the_destroyer</code>などと実行して、テスト用に適当なウェブアプリを作成する。ここでnext.jsで作るとややこしいことになるのでやってはいけない。</ol><h4>Amplifyのウェブコンソールでの作業</h4><ol><li>Amplifyのウェブコンソールから「アプリケーションを構築」を押して、アプリ（名前はto_be_destroyedとする）を作成する。</ol><h4>ローカルの端末での作業</h4><ol><li>Backend environmentsにstagingがあるので、これを<code>amplify pull --appId {appId} --envName staging</code>で取得する。<li><code>git add .</code>、<code>git commit -m &quot;init&quot;</code>、<code>git push</code>を実行して、レポジトリにコードを反映させる。</ol><h4>Amplifyのウェブコンソールでの作業</h4><ol><li>Hosting environmentsからGithubを選択して、上記レポジトリのmainブランチと連携させる。<li>「ビルドの設定」画面で、Environmentを「新しい環境を作成」にし、Environment名は空欄のままにする。<li>デプロイを開始し、デプロイされるのを待つ。</ol>
<h4>作業結果</h4>下の画像のようになれば成功だ。Amplifyを使っている人には見慣れた光景かと思う。
<a class="img" href="https://i.gyazo.com/b1af5f4cf0a579a15f244f51268333ee.png"><img src="https://i.gyazo.com/b1af5f4cf0a579a15f244f51268333ee.png" style="max-width: 100%;"/></a><a class="img" href="https://i.gyazo.com/bfe135b044bf63eed1be678a301e14a2.png"><img src="https://i.gyazo.com/bfe135b044bf63eed1be678a301e14a2.png" style="max-width: 100%;"/></a>この後、ローカルの端末で<code>amplify pull --appId {appId} --envName main</code>を実行してmainと同期し、その結果をGithubのレポジトリにpushしておく。
 <h3>本番環境とは切り離された検証環境のつもりでAmplifyで別アプリを作成する。</h3><ol><li>Amplifyのウェブコンソールから「アプリケーションを構築」を押して、アプリ（名前はdestroyerとする）を作成する。<li>Hosting environmentsからGithubを選択して、上記レポジトリのmainブランチと連携させる。<li>「ビルドの設定」画面で、Environmentを「新しい環境を作成」にし、Environment名は空欄のままにする。<li>デプロイを開始し、デプロイされるのを待つ</ol><h3>Amplifyのウェブコンソール上でdestroyerを削除して、to_be_destroyedのBackend Environmentsが削除されるのを確認する</h3><ol><li>Amplifyのウェブコンソールでdestroyerを開き、「アプリの削除」を押して削除する。<li>destoryerが削除されたら、to_be_destroyedのBackend Environmentsが削除されているのを確認する。</ol><a class="img" href="https://i.gyazo.com/bc8ba2adc37ffab192e1b09dcf87db03.png"><img src="https://i.gyazo.com/bc8ba2adc37ffab192e1b09dcf87db03.png" style="max-width: 100%;"/></a>mainが「Deletion completed」となっているのが確認できる。
 <h2>原因</h2>Amplifyにレポジトリ連携でデプロイする時、team-provider-info.jsonがレポジトリに入っていると、別Appであっても同一のCloudFormationスタックが用いられる。
 そのため、Appを削除するとCloudFormationによって他Appと共用となってしまっているバックエンド環境が削除される。
 <h2>対策（未検証）</h2><ul><li>Amplifyと連携しているレポジトリからteam-provider-info.jsonを消す<li>.gitignoreにteam-provider-info.jsonを追加する<li>CloudFormationのスタック削除保護を有効化する<li>バックアップを設定する</ul> <h2>後記</h2>代理店を通じてAWSにBackend Environmentsの復旧を依頼したが、Backend Environmentsに掛かるDynamoDB・S3は復旧できないとのこと。
 amplify pullを実行すると、.gitignoreに色々追記されるが、team-provider-info.jsonは除外設定にならない。
 本事象は私のプロジェクトの本格運用前に発生した。本格運用が始まった状態でこの問題が発生した場合にはより深刻な影響を及ぼしただろう。
 DynamoDBのデータは、<a class="oln" data-kno="K#/28A2" href="/28A2">DataStore</a>がDynamoDBと同期していたブラウザのIndexedDBより救出された。
 今年の2月に開始された弊プロジェクトでは、この他にも2度ほどAmplifyのバグを踏んでいる。

 再現手順Amplifyを触ったことがある人を対象としているため、画像を貼ったりせず、事細かには説明しない。適宜補完してほしい。
本番と見なすAmplifyのアプリを作成するダミーのウェブアプリを作るGithubに空のレポジトリを作成するGithubからレポジトリをCloneするローカルの端末でnpx create-react-app amplify_the_destroyerなどと実行して、テスト用に適当なウェブアプリを作成する。ここでnext.jsで作るとややこしいことになるのでやってはいけない。Amplifyのウェブコンソールでの作業Amplifyのウェブコンソールから「アプリケーションを構築」を押して、アプリ（名前はto_be_destroyedとする）を作成する。ローカルの端末での作業Backend environmentsにstagingがあるので、これをamplify pull --appId {appId} --envName stagingで取得する。git add .、git commit -m "init"、git pushを実行して、レポジトリにコードを反映させる。Amplifyのウェブコンソールでの作業Hosting environmentsからGithubを選択して、上記レポジトリのmainブランチと連携させる。「ビルドの設定」画面で、Environmentを「新しい環境を作成」にし、Environment名は空欄のままにする。デプロイを開始し、デプロイされるのを待つ。
作業結果下の画像のようになれば成功だ。Amplifyを使っている人には見慣れた光景かと思う。
この後、ローカルの端末でamplify pull --appId {appId} --envName mainを実行してmainと同期し、その結果をGithubのレポジトリにpushしておく。
本番環境とは切り離された検証環境のつもりでAmplifyで別アプリを作成する。Amplifyのウェブコンソールから「アプリケーションを構築」を押して、アプリ（名前はdestroyerとする）を作成する。Hosting environmentsからGithubを選択して、上記レポジトリのmainブランチと連携させる。「ビルドの設定」画面で、Environmentを「新しい環境を作成」にし、Environment名は空欄のままにする。デプロイを開始し、デプロイされるのを待つAmplifyのウェブコンソール上でdestroyerを削除して、to_be_destroyedのBackend Environmentsが削除されるのを確認するAmplifyのウェブコンソールでdestroyerを開き、「アプリの削除」を押して削除する。destoryerが削除されたら、to_be_destroyedのBackend Environmentsが削除されているのを確認する。mainが「Deletion completed」となっているのが確認できる。
原因Amplifyにレポジトリ連携でデプロイする時、team-provider-info.jsonがレポジトリに入っていると、別Appであっても同一のCloudFormationスタックが用いられる。
そのため、Appを削除するとCloudFormationによって他Appと共用となってしまっているバックエンド環境が削除される。
対策（未検証）Amplifyと連携しているレポジトリからteam-provider-info.jsonを消す.gitignoreにteam-provider-info.jsonを追加するCloudFormationのスタック削除保護を有効化するバックアップを設定する後記代理店を通じてAWSにBackend Environmentsの復旧を依頼したが、Backend Environmentsに掛かるDynamoDB・S3は復旧できないとのこと。
amplify pullを実行すると、.gitignoreに色々追記されるが、team-provider-info.jsonは除外設定にならない。
本事象は私のプロジェクトの本格運用前に発生した。本格運用が始まった状態でこの問題が発生した場合にはより深刻な影響を及ぼしただろう。
DynamoDBのデータは、DataStoreがDynamoDBと同期していたブラウザのIndexedDBより救出された。
今年の2月に開始された弊プロジェクトでは、この他にも2度ほどAmplifyのバグを踏んでいる。
 

AWS Amplifyで検証用アプリを作ったあとに削除したら、大本のアプリのBackend environmentsが意図せず消された

2023年11月

<a class="oln" data-kno="K#/4576" href="/4576">K教授</a>が運営する研究室

K研究室

入力された文章の中の<a class="oln" data-kno="K#/CB03" href="/CB03">カタカナ語</a>を、<a class="oln" data-kno="K#/E3EB" href="/E3EB">希哲館訳語</a>に変換するウェブアプリ。
<a class="URI" href="https://towasys.com/katakana/" target="_blank" rel="noopener nofollow ugc">https://towasys.com/katakana/</a>

 入力された文章の中のカタカナ語を、希哲館訳語に変換するウェブアプリ。
https://towasys.com/katakana/
  

カタカナ・希哲館訳語変換サービス

K教授との通話で教えてもらったのだが、<a class="oln" data-kno="K#/0F6B" href="/0F6B">客員研究員</a>になると<a class="oln" data-kno="K#/C366" href="/C366">学割</a>が使えるので、Adobeとかのサービスが安価に使えるらしい。すげー。

 K教授との通話で教えてもらったのだが、客員研究員になると学割が使えるので、Adobeとかのサービスが安価に使えるらしい。すげー。
 

先行研究

日記

研究する価値

世界モデル

人工知能

Add your data

<a class="URI" href="https://learn.microsoft.com/ja-jp/azure/ai-services/openai/use-your-data-quickstart?tabs=command-line%2Cpython&amp;pivots=programming-language-studio" target="_blank" rel="noopener nofollow ugc">https://learn.microsoft.com/ja-jp/azure/ai-services/openai/use-your-data-quickstart?tabs=command-line%2Cpython&amp;pivots=programming-language-studio</a>

 https://learn.microsoft.com/ja-jp/azure/ai-services/openai/use-your-data-quickstart?tabs=command-line%2Cpython&pivots=programming-language-studio
  

『クイック スタート: 独自のデータを使用して Azure OpenAI モデルとチャットする』

Azure Cognitive Search

Azure OpenAI

Retrieval-Augmented Generation
 大体の流れ
<ol><li>ユーザーが質問を発する<li>ユーザーの質問から関連情報を検索<li>ユーザーの質問 + 検索結果 を生成AIに与える<li>生成結果をユーザーに提示</ol>

 Retrieval-Augmented Generation
大体の流れ
ユーザーが質問を発するユーザーの質問から関連情報を検索ユーザーの質問 + 検索結果 を生成AIに与える生成結果をユーザーに提示  

研究室

研究

K教授

<a class="oln" data-kno="K#/B2BE" href="/B2BE">TwEgaku</a>の<a class="oln" data-kno="K#/D692" href="/D692">手書き検索</a>も、精度を改善する筋道がほんのり見えてきた。

 TwEgakuの手書き検索も、精度を改善する筋道がほんのり見えてきた。
  

あれ

手書き検索

<a class="oln" data-kno="K#/A315" href="/A315">knownet</a>にかかずらってないで、そろそろ<a class="oln" data-kno="K#/B2BE" href="/B2BE">TwEgaku</a>をやらねば。
knownetはデライトの模倣なので、デライトの発展を見守れば良い。同じ山を登る必要はない。
かたや<a class="oln" data-kno="K#/B2BE" href="/B2BE">TwEgaku</a>は私がやらないと何も進まない。「UTF-8のようなお仕着せの記号から書き手・人工言語勢を開放する」「手書きのインターネットを創る」とか考えてるの私ぐらいだろうし。

 knownetにかかずらってないで、そろそろTwEgakuをやらねば。
knownetはデライトの模倣なので、デライトの発展を見守れば良い。同じ山を登る必要はない。
かたやTwEgakuは私がやらないと何も進まない。「UTF-8のようなお仕着せの記号から書き手・人工言語勢を開放する」「手書きのインターネットを創る」とか考えてるの私ぐらいだろうし。
 

カフェで読書

<a class="oln" data-kno="K#/D151" href="/D151">実家</a>から<a class="oln" data-kno="K#/1AA9" href="/1AA9">みかん</a>が届いた。5kg。ギリギリ冷蔵庫に入った。5kgともなると流石に食べきれずに腐らせてしまうので、職場で配りたい。明日総務部あたりに頒布していいか打診しよう。
 　<a class="oln" data-kno="K#/A7C8" href="/A7C8">和歌山</a>では農家からみかんが<a class="oln" data-kno="K#/BD17" href="/BD17">トリクルダウン</a>してくる。
 　今日は<a class="oln" data-kno="K#/2088" href="/2088">休みの日</a>と位置づけた。最近プログラミングのやり過ぎで、疲労感がある。
 　昼。軽く街をぶらついた。散歩ルートがなかなか定まらずにいる。
 　ぶらついた後、やや暖かかったのも有って、<a class="oln" data-kno="K#/8E96" href="/8E96">スタバのテラス</a>で読書をした。そのためにわざわざ本を持ち出しておいた。テラスでの読書は、今年はコレが最後になるだろう。そろそろ寒さが厳しくなりそうだ。
 　夕飯。鍋に積まれた白菜の山に蓋を載せながら、俺はいつか<a class="oln" data-kno="K#/D0F5" href="/D0F5">寸胴</a>を買うのだろうなと思った。
 　月曜が近づき、<a class="oln" data-kno="K#/EAC8" href="/EAC8">2023年11月17日日記</a>で書いた開発中のシステムを吹っ飛ばしたままの件が重くのしかかる。憂鬱だ。Gloomy Monday。なにかの手違いで直っていてほしいが、そんなことは起こらないので、なんとかするしか無い。

 　実家からみかんが届いた。5kg。ギリギリ冷蔵庫に入った。5kgともなると流石に食べきれずに腐らせてしまうので、職場で配りたい。明日総務部あたりに頒布していいか打診しよう。
　和歌山では農家からみかんがトリクルダウンしてくる。
　今日は休みの日と位置づけた。最近プログラミングのやり過ぎで、疲労感がある。
　昼。軽く街をぶらついた。散歩ルートがなかなか定まらずにいる。
　ぶらついた後、やや暖かかったのも有って、スタバのテラスで読書をした。そのためにわざわざ本を持ち出しておいた。テラスでの読書は、今年はコレが最後になるだろう。そろそろ寒さが厳しくなりそうだ。
　夕飯。鍋に積まれた白菜の山に蓋を載せながら、俺はいつか寸胴を買うのだろうなと思った。
　月曜が近づき、2023年11月17日日記で書いた開発中のシステムを吹っ飛ばしたままの件が重くのしかかる。憂鬱だ。Gloomy Monday。なにかの手違いで直っていてほしいが、そんなことは起こらないので、なんとかするしか無い。
 

2023年11月19日日記

<ul><li><a class="oln" data-kno="K#/07F8" href="/07F8">『思考のOSとしてのアウトライナーを通じて「個人的」情報ツールについて考える: 文章を書き、考える人のための「アウトライナー」活用術 情報整理大全』</a><li><a class="oln" data-kno="K#/3612" href="/3612">『コンテンツ・デザインパターン』</a><li><a class="oln" data-kno="K#/B802" href="/B802">『世界は「日記」でできている』</a><li><a class="oln" data-kno="K#/EF6C" href="/EF6C">『何を書けばいいかわからない人のための「うまく」「はやく」書ける文章術』</a></ul>の4冊を読んだ。

 『思考のOSとしてのアウトライナーを通じて「個人的」情報ツールについて考える: 文章を書き、考える人のための「アウトライナー」活用術 情報整理大全』『コンテンツ・デザインパターン』『世界は「日記」でできている』『何を書けばいいかわからない人のための「うまく」「はやく」書ける文章術』の4冊を読んだ。
 

朝からカフェで読書した。良い1日だった。

朝。カフェで読書。珈琲とクロックムッシュ。
 　「ごゆっくりどうぞ」
 　客はみんな一人でゆっくりしている。とても静か。クロックムッシュをかじる音がひときわ響く。
　<a class="oln" data-kno="K#EDD2/F108" href="/F108">美崎薫『記憶する道具 : 生活/人生ナビゲータとしてのライフログ・マシンの誕生』</a>の半分を読み終えた。デライトみを感じて借りたが、なかなか良い。テクノロジーと記録について、クセになる文調で綴られている。

 　朝。カフェで読書。珈琲とクロックムッシュ。
　「ごゆっくりどうぞ」
　客はみんな一人でゆっくりしている。とても静か。クロックムッシュをかじる音がひときわ響く。
　美崎薫『記憶する道具 : 生活/人生ナビゲータとしてのライフログ・マシンの誕生』の半分を読み終えた。デライトみを感じて借りたが、なかなか良い。テクノロジーと記録について、クセになる文調で綴られている。
 

実家

ごゆっくりどうぞ

『思考のOSとしてのアウトライナーを通じて「個人的」情報ツールについて考える: 文章を書き、考える人のための「アウトライナー」活用術 情報整理大全』

スタバのテラス

クロックムッシュ

和歌山

<nav class="bc"><ol><li><a class="oln" data-kno="K#/2AAB" href="/2AAB">日記</a>
</li></ol></nav>　<a class="oln" data-kno="K#/1784" href="/1784">ダニ</a>が<a class="oln" data-kno="K#/A4B6" href="/A4B6">布団</a>に沸いているらしく、朝の<a class="oln" data-kno="K#/6FD7" href="/6FD7">4時</a>に体が痒くなって<a class="oln" data-kno="K#/0C56" href="/0C56">目が覚めた</a>。<a class="oln" data-kno="K#/AA6C" href="/AA6C">敷布団</a>のカバーを洗濯して、敷布団に<a class="oln" data-kno="K#/03A1" href="/03A1">掃除機</a>をかけたが、効果は無かった。明日<a class="oln" data-kno="K#/6B6C" href="/6B6C">毛布</a>を洗濯しよう。それでもだめなら敷布団を洗濯することになる。
 　体の痒みで眠れそうになかったため、<a class="oln" data-kno="K#/1ED0" href="/1ED0">近所のセブンイレブン</a>でコーヒー買って飲んで、そのまま起きていた。
　8時から<a class="oln" data-kno="K#/61BE" href="/61BE">カフェに行って読書をした</a>。調子が良くて、2時間で4冊の本に目を通すことができた。面白いところだけをちゃんと読んでいて、ほかの所はほとんどすっ飛ばしているので、「読んだ」というにはおおざっぱすぎる気がする。
 　この調子で<a class="oln" data-kno="K#/FD1C" href="/FD1C">積読</a>を崩していきたい。電子的にも物理的にも積んでいる。
 　読み終わった本は売りさばかないと、いい加減新しい本を置く空間が無くなってきた。選別が必要だ。
　昼食を食べた後、<a class="oln" data-kno="K#/B4C4" href="/B4C4">散歩</a>に出た。散歩中に<a class="oln" data-kno="K#/8A08" href="/8A08">考え事</a>が捗り、<a class="oln" data-kno="K#/7330" href="/7330">メモ</a>を取っておいた（<a class="oln" data-kno="K#/0C9E" href="/0C9E">2022年10月22日散歩メモ</a>）。後からまとめようとしたが、あまりうまくまとまらなかった。
　夕飯に鳥軟骨と大根を一緒に煮て食べた。<a class="oln" data-kno="K#/81A9" href="/81A9">煮汁</a>がまた余った。どうしよう。<a class="oln" data-kno="K#/BDDC" href="/BDDC">角煮</a>でも作ろうか。薄めて<a class="oln" data-kno="K#/24FB" href="/24FB">おでん</a>にでもすればいいだろうか。<a class="oln" data-kno="K#/C35E" href="/C35E">炊き込みご飯</a>にしてしまうのが、一番消費しやすいだろう。適当に鶏肉と炊き込んでやりたい。
夕方の<a class="oln" data-kno="K#/E466" href="/E466">18時</a>ごろから寝てしまった。起きて<a class="oln" data-kno="K#/DE5F" href="/DE5F">シャワーを浴びたら</a>、<a class="oln" data-kno="K#/FF09" href="/FF09">23時</a>になっていた。

 日記
　ダニが布団に沸いているらしく、朝の4時に体が痒くなって目が覚めた。敷布団のカバーを洗濯して、敷布団に掃除機をかけたが、効果は無かった。明日毛布を洗濯しよう。それでもだめなら敷布団を洗濯することになる。
　体の痒みで眠れそうになかったため、近所のセブンイレブンでコーヒー買って飲んで、そのまま起きていた。
　8時からカフェに行って読書をした。調子が良くて、2時間で4冊の本に目を通すことができた。面白いところだけをちゃんと読んでいて、ほかの所はほとんどすっ飛ばしているので、「読んだ」というにはおおざっぱすぎる気がする。
　この調子で積読を崩していきたい。電子的にも物理的にも積んでいる。
　読み終わった本は売りさばかないと、いい加減新しい本を置く空間が無くなってきた。選別が必要だ。
　昼食を食べた後、散歩に出た。散歩中に考え事が捗り、メモを取っておいた（2022年10月22日散歩メモ）。後からまとめようとしたが、あまりうまくまとまらなかった。
　夕飯に鳥軟骨と大根を一緒に煮て食べた。煮汁がまた余った。どうしよう。角煮でも作ろうか。薄めておでんにでもすればいいだろうか。炊き込みご飯にしてしまうのが、一番消費しやすいだろう。適当に鶏肉と炊き込んでやりたい。
夕方の18時ごろから寝てしまった。起きてシャワーを浴びたら、23時になっていた。
  

2022年10月22日日記

文調

<a class="oln" data-kno="K#/4D54" href="/4D54">午後から雨</a>の予報だったので、<a class="oln" data-kno="K#/8B72" href="/8B72">午前から活動</a>した。<a class="oln" data-kno="K#/8AA8" href="/8AA8">カフェでコーヒーを飲みながら読書</a>をした。あと<a class="oln" data-kno="K#/3C3A" href="/3C3A">クロックムッシュ</a>を食べた。
 　1時間ほどでカフェからは<a class="oln" data-kno="K#/24F3" href="/24F3">退店</a>した。少し疲れてきていた。2時間ぐらいは居てもよかったが、自分の欲求に従い、「<a class="oln" data-kno="K#/18CE" href="/18CE">もったいない</a>」という心を封じて行動したので、非常に<a class="oln" data-kno="K#/1600" href="/1600">贅沢な時間の使い方</a>をしたように思う。
　カフェから退店した後、<a class="oln" data-kno="K#/01D0" href="/01D0">図書館</a>に行って借りた本のうちの三冊を返却した。こまめに返却しないと、持っていくのが大変になる。図書館で何か借りたい本がないか探したが、特に借りたい本はなかった。そのまま図書館から帰宅した。
　午後もだらだらと読書をしていた。図書館で「<a class="oln" data-kno="K#/6E7A" href="/6E7A">自己組織化</a>」で検索して借りてきた本が山ほどある。
　ここのところ読書しかしていない。<a class="oln" data-kno="K#/AB46" href="/AB46">コロナ禍</a>で現実の<a class="oln" data-kno="K#/C430" href="/C430">人との関わり</a>が無くなってしまった。というよりもコロナを言い訳にして、人との関わりを断ってしまった。いろいろと<a class="oln" data-kno="K#/FB7E" href="/FB7E">面倒になった</a>。特に<a class="oln" data-kno="K#/CE57" href="/CE57">Facebook</a>で<a class="oln" data-kno="K#/F160" href="/F160">お客様</a>との<a class="oln" data-kno="K#/4594" href="/4594">つながり</a>ができてしまって、何もできなくなってしまった。現状、<a class="oln" data-kno="K#/8659" href="/8659">現実の私</a>は、まるで何もしていない人間になっている。

 　午後から雨の予報だったので、午前から活動した。カフェでコーヒーを飲みながら読書をした。あとクロックムッシュを食べた。
　1時間ほどでカフェからは退店した。少し疲れてきていた。2時間ぐらいは居てもよかったが、自分の欲求に従い、「もったいない」という心を封じて行動したので、非常に贅沢な時間の使い方をしたように思う。
　カフェから退店した後、図書館に行って借りた本のうちの三冊を返却した。こまめに返却しないと、持っていくのが大変になる。図書館で何か借りたい本がないか探したが、特に借りたい本はなかった。そのまま図書館から帰宅した。
　午後もだらだらと読書をしていた。図書館で「自己組織化」で検索して借りてきた本が山ほどある。
　ここのところ読書しかしていない。コロナ禍で現実の人との関わりが無くなってしまった。というよりもコロナを言い訳にして、人との関わりを断ってしまった。いろいろと面倒になった。特にFacebookでお客様とのつながりができてしまって、何もできなくなってしまった。現状、現実の私は、まるで何もしていない人間になっている。
  

2022年11月20日日記

朝、体が冷え切って目が覚める温度になってきた。そろそろ布団を出さないと体調を悪くしてしまう。
 　上司と、私の今年の目標達成率について<a class="oln_unk" href="/?kw=K%23EDD2+%26+1 on 1&rdr">1 on 1</a>をした。お互いに、「毎日の定例で30分話してるし、話すこと無くね？」みたいな感じだったが、普通に予定していた時間いっぱいまで話した。評価は上司の更に上がするので、まあどうなることやらである。
 　設定した目標を完全に忘れていたが、自己評価においては目標達成率は思いの外良かった。ちゃんと、自分が走りそうな方向に目標を置いておいたのが良かった。
 　ちなみにこの<a class="oln" data-kno="K#/E0D3" href="/E0D3">目標管理</a>は給与とかボーナスには影響しない。という建付け。多分参考にはする。
 　仕事で問い合わせを出して、その回答待ちなのを良いことに、すげーダラダラしていた。
 　<a class="oln" data-kno="K#/3A43" href="/3A43">Next.js</a>で<a class="oln" data-kno="K#/21E5" href="/21E5">SMTP</a>を受ける方法とか検討していた。無理そう。コレができるとシステムでできることの幅が広がるのだが。普通にマネージドサービスを使ったほうが良いんだろう。
　そうこうしていたところ、仕事でクラウド上に作ってるシステムが、全部吹っ飛んでいることが判明した。DBやらファイルやらユーザーアカウントやらが全部消えた。まだ本番運用前で良かった。
 　上司と話したところ、週明けに原因調査しようということになった。定時直前に発覚して、上司に相談した上で泣きながら帰宅した。
 　何も心当たりのある操作してないんだよなぁ……。クラウドのコンソールにログインするアカウントが不正ログインされた形跡もなかった。クラウドのシステム自体の不具合で消えたんだったら、一発アウトなので別のクラウドに移行しないといけなくなってしまう。
 　CI/CD・DB・ストレージ・認証・認可・API生成の全部入りのマネージドサービス（フレームワーク付き）でこの事象が起きちゃったので、まじで影響範囲がでかい。死ぬ。たのむ、俺のミスであってくれ。
　<a class="oln" data-kno="K#/5D31" href="/5D31">Fediverse</a>で「複雑なマネージドサービスって怖いよね〜〜」という話をしていた。はい。実感。
 　布団を出してカバーを付けた。カバーをうまく付けられなくてモタモタしてしまった。疲れで不器用になっている。<a class="oln" data-kno="K#/4F5F" href="/4F5F">俺はもうだめだ</a>。

 　朝、体が冷え切って目が覚める温度になってきた。そろそろ布団を出さないと体調を悪くしてしまう。
　上司と、私の今年の目標達成率について1 on 1をした。お互いに、「毎日の定例で30分話してるし、話すこと無くね？」みたいな感じだったが、普通に予定していた時間いっぱいまで話した。評価は上司の更に上がするので、まあどうなることやらである。
　設定した目標を完全に忘れていたが、自己評価においては目標達成率は思いの外良かった。ちゃんと、自分が走りそうな方向に目標を置いておいたのが良かった。
　ちなみにこの目標管理は給与とかボーナスには影響しない。という建付け。多分参考にはする。
　仕事で問い合わせを出して、その回答待ちなのを良いことに、すげーダラダラしていた。
　Next.jsでSMTPを受ける方法とか検討していた。無理そう。コレができるとシステムでできることの幅が広がるのだが。普通にマネージドサービスを使ったほうが良いんだろう。
　そうこうしていたところ、仕事でクラウド上に作ってるシステムが、全部吹っ飛んでいることが判明した。DBやらファイルやらユーザーアカウントやらが全部消えた。まだ本番運用前で良かった。
　上司と話したところ、週明けに原因調査しようということになった。定時直前に発覚して、上司に相談した上で泣きながら帰宅した。
　何も心当たりのある操作してないんだよなぁ……。クラウドのコンソールにログインするアカウントが不正ログインされた形跡もなかった。クラウドのシステム自体の不具合で消えたんだったら、一発アウトなので別のクラウドに移行しないといけなくなってしまう。
　CI/CD・DB・ストレージ・認証・認可・API生成の全部入りのマネージドサービス（フレームワーク付き）でこの事象が起きちゃったので、まじで影響範囲がでかい。死ぬ。たのむ、俺のミスであってくれ。
　Fediverseで「複雑なマネージドサービスって怖いよね〜〜」という話をしていた。はい。実感。
　布団を出してカバーを付けた。カバーをうまく付けられなくてモタモタしてしまった。疲れで不器用になっている。俺はもうだめだ。
  

2023年11月17日日記

寸胴

『何を書けばいいかわからない人のための「うまく」「はやく」書ける文章術』

美崎薫『記憶する道具 : 生活/人生ナビゲータとしてのライフログ・マシンの誕生』

みかん

ゆっくり

カフェでコーヒーを飲みながら読書

カフェ

トリクルダウン

『世界は「日記」でできている』

デライトみ

服薬をサボってたら<a class="oln" data-kno="K#/3AB9" href="/3AB9">メンタル</a>を不調が襲ったので、薬をのんだ。
 　<a class="oln" data-kno="K#/D151" href="/D151">実家</a>から送られてきた5kgの<a class="oln_unk" href="/?kw=K%23EDD2+%26+みかん&rdr">みかん</a>が残り半分以下になっている。「週明けに職場で配ろう」とか思ってたら、このままなくなる勢いだ。
 　年末も近づき、<a class="oln" data-kno="K#/D151" href="/D151">実家</a>の<a class="oln" data-kno="K#/FAA6" href="/FAA6">親</a>のことが思い出されて<a class="oln" data-kno="K#/4AB4" href="/4AB4">情緒</a>が不安定になる。親の<a class="oln" data-kno="K#/EF2B" href="/EF2B">寂しさ</a>を思ってしまうが、その実私が<a class="oln" data-kno="K#/82D0" href="/82D0">寂しい</a>のかもしれない。<a class="oln" data-kno="K#/BBA3" href="/BBA3">一人暮らし</a>が長い。
 　そろそろ年末の<a class="oln" data-kno="K#/C615" href="/C615">帰省</a>に向けて、実家への飛行機のチケットを取らねば。
 　<a class="oln" data-kno="K#/3A43" href="/3A43">Next.js</a>の<a class="oln" data-kno="K#/9446" href="/9446">Server Action</a>を性懲りもなく試しているが、どうにもうまく動かない。エラーが出るが、どこがエラーを出しているのか判別がつかない。諦めよう。
 　<a class="oln" data-kno="K#/6194" href="/6194">ServerSideProps</a>に切り替えていく。引数でデータをバケツリレーするのは面倒だが、想定した動作をする可能性が高い。

 　服薬をサボってたらメンタルを不調が襲ったので、薬をのんだ。
　実家から送られてきた5kgのみかんが残り半分以下になっている。「週明けに職場で配ろう」とか思ってたら、このままなくなる勢いだ。
　年末も近づき、実家の親のことが思い出されて情緒が不安定になる。親の寂しさを思ってしまうが、その実私が寂しいのかもしれない。一人暮らしが長い。
　そろそろ年末の帰省に向けて、実家への飛行機のチケットを取らねば。
　Next.jsのServer Actionを性懲りもなく試しているが、どうにもうまく動かない。エラーが出るが、どこがエラーを出しているのか判別がつかない。諦めよう。
　ServerSidePropsに切り替えていく。引数でデータをバケツリレーするのは面倒だが、想定した動作をする可能性が高い。
 

2023年11月24日日記

『コンテンツ・デザインパターン』

2023年11月19日

いい1日だった

手書き

検索

生成AI

<a class="URI" href="https://www.rd.ntt/se/media/article/0025.html" target="_blank" rel="noopener nofollow ugc">https://www.rd.ntt/se/media/article/0025.html</a>

 https://www.rd.ntt/se/media/article/0025.html
  

『ナレッジグラフ構築のモデル化に関する考察』

<a class="oln" data-kno="K#/F549" href="/F549">『ナレッジグラフ構築のモデル化に関する考察』</a>より

 『ナレッジグラフ構築のモデル化に関する考察』より
  

「Sowa は述語論理を基盤とした知識表現シス テムである概念グラフ (Conceptual Graph) を提案した」

『ナレッジグラフとは？特徴や作り方、活用法をわかりやすく解説』

概念グラフ

ナレッジグラフ

ニューラルネットワーク

<a class="oln" data-kno="K#/6203" href="/6203">シルクホーンアルゴリズム</a>で<a class="oln" data-kno="K#/2A0C" href="/2A0C">ニューラルネットワーク</a>の<a class="oln" data-kno="K#/D6CD" href="/D6CD">トポロジー</a>を最適化できないだろうか。
シルクホーンアルゴリズムそのものは使えなくても、何某か頑張ったら<a class="oln" data-kno="K#/2A0C" href="/2A0C">ニューラルネットワーク</a>の<a class="oln" data-kno="K#/D6CD" href="/D6CD">トポロジー</a>を微分で学習できるんじゃないかと。

 シルクホーンアルゴリズムでニューラルネットワークのトポロジーを最適化できないだろうか。
シルクホーンアルゴリズムそのものは使えなくても、何某か頑張ったらニューラルネットワークのトポロジーを微分で学習できるんじゃないかと。
  

微分

シルクホーンアルゴリズム

トポロジー

深層学習

<a class="URI" href="https://speakerdeck.com/kohamax0724/network-pruning-zhi-yi-rishou-fa-nosabei" target="_blank" rel="noopener nofollow ugc">https://speakerdeck.com/kohamax0724/network-pruning-zhi-yi-rishou-fa-nosabei</a>
<div class="mbd SD" data-URL="https%3A%2F%2Fspeakerdeck.com%2Fkohamax0724%2Fnetwork-pruning-zhi-yi-rishou-fa-nosabei"></div>

 https://speakerdeck.com/kohamax0724/network-pruning-zhi-yi-rishou-fa-nosabei
  

『Network Pruning：枝刈り手法のサーベイ』

やっぱり<a class="oln" data-kno="K#/6205" href="/6205">遺伝的プログラミング</a>より<a class="oln" data-kno="K#/F7E7" href="/F7E7">深層学習</a>の方が良いのだろうなぁ

 やっぱり遺伝的プログラミングより深層学習の方が良いのだろうなぁ
 

深層学習は面白くないので……

 深層学習は面白くないので……
  

学習には遺伝的プログラミングというのを使っています

遺伝的プログラミング

Cartesian Genetic Programmingで文章の類似度を学習

深層学習は面白くない

時間経過で学習が進まない……！
 いまだかつてない雑な実装をしたせいだろうか
<a class="img" href="/KNo.EDD2/5B60.webp?20230618190319"><img src="/KNo.EDD2/5B60.webp?20230618190319" style="max-width: 100%;"/></a>普通、遺伝的アルゴリズムないし遺伝的プログラミングを実装するときは、全個体を評価した後に、その評価を元に新世代に総とっかえするんだけど、今回実装がめんどかったので、以下のような処理でごまかしてる
<ol><li>ランダムに2体取り出してくる<li>交叉と突然変異で新個体を作る<li>1. で取り出した個体のうち評価が低いものを新個体と入れ替える</ol>

 時間経過で学習が進まない……！
いまだかつてない雑な実装をしたせいだろうか
普通、遺伝的アルゴリズムないし遺伝的プログラミングを実装するときは、全個体を評価した後に、その評価を元に新世代に総とっかえするんだけど、今回実装がめんどかったので、以下のような処理でごまかしてる
ランダムに2体取り出してくる交叉と突然変異で新個体を作る1. で取り出した個体のうち評価が低いものを新個体と入れ替える 

「スシパーティーナイト」と「来週は豪勢な食事をする」を近しいと学習したAI
 そんな学習データにそんな文字列を入れた覚えはない。
<a class="img" href="/KNo.EDD2/2EE6.webp?20230618181047"><img src="/KNo.EDD2/2EE6.webp?20230618181047" style="max-width: 100%;"/></a>

 「スシパーティーナイト」と「来週は豪勢な食事をする」を近しいと学習したAI
そんな学習データにそんな文字列を入れた覚えはない。
  

枝刈り

ボロボロの研究成果です
<a class="img" href="/KNo.EDD2/B5B7.webp?20230618145041"><img src="/KNo.EDD2/B5B7.webp?20230618145041" style="max-width: 100%;"/></a>遺伝的プログラミング、精度出ねぇんだわ。
でも、モデルのサイズは小さいぞ！！
 812KBや。
 一般的な大規模言語モデルというかディイイイイイプラーニングはGBとかサクッと行く
 食事の文章に関してはいい感じに類似判定されているのは、データ元の人格が出てますねぇ。

 ボロボロの研究成果です
遺伝的プログラミング、精度出ねぇんだわ。
でも、モデルのサイズは小さいぞ！！
812KBや。
一般的な大規模言語モデルというかディイイイイイプラーニングはGBとかサクッと行く
食事の文章に関してはいい感じに類似判定されているのは、データ元の人格が出てますねぇ。
  

レコメンドシステムにおいて、ユーザーのEmbeddingを計算するモデル（Query Tower）と、推薦対象のEmbeddingを検索するモデル（Candidate TowerあるいはDocument Tower）の2つを使う手法。
検索システムにおいてはQuery towerで検索文のEmbeddingを生成する。
<a class="oln" data-kno="K#/2D8A" href="/2D8A">dual encoder</a>とも呼ばれている。

 レコメンドシステムにおいて、ユーザーのEmbeddingを計算するモデル（Query Tower）と、推薦対象のEmbeddingを検索するモデル（Candidate TowerあるいはDocument Tower）の2つを使う手法。
検索システムにおいてはQuery towerで検索文のEmbeddingを生成する。
dual encoderとも呼ばれている。
  

Two-Towerモデル

<a class="oln" data-kno="K#/1690" href="/1690">応向分離</a>は誰かもう考えているだろうと思って検索した所、<a class="oln" data-kno="K#/41FF" href="/41FF">Two-Towerモデル</a>というのがあることがわかった。

 応向分離は誰かもう考えているだろうと思って検索した所、Two-Towerモデルというのがあることがわかった。
  

<a class="URI" href="https://storage.googleapis.com/pub-tools-public-publication-data/pdf/b9f4e78a8830fe5afcf2f0452862fb3c0d6584ea.pdf" target="_blank" rel="noopener nofollow ugc">https://storage.googleapis.com/pub-tools-public-publication-data/pdf/b9f4e78a8830fe5afcf2f0452862fb3c0d6584ea.pdf</a>

 https://storage.googleapis.com/pub-tools-public-publication-data/pdf/b9f4e78a8830fe5afcf2f0452862fb3c0d6584ea.pdf
  

『Mixed Negative Sampling for Learning Two-tower NeuralNetworks in Recommendation』

<a class="URI" href="https://blog.recruit.co.jp/data/articles/two-tower-model/" target="_blank" rel="noopener nofollow ugc">https://blog.recruit.co.jp/data/articles/two-tower-model/</a>

 https://blog.recruit.co.jp/data/articles/two-tower-model/
  

『Two-Towerモデルと近似最近傍探索による候補生成ロジックの導入』

dual encoder

レコメンド

おそらく一般的には<a class="oln" data-kno="K#/5E11" href="/5E11">応類</a>と<a class="oln" data-kno="K#/C21C" href="/C21C">向類</a>は同じ<a class="oln" data-kno="K#/01C5" href="/01C5">言語モデル</a>で生成して検索に用いるのだが、<a class="oln" data-kno="K#/5E11" href="/5E11">応類</a>と<a class="oln" data-kno="K#/C21C" href="/C21C">向類</a>で異なる言語モデルを用いることで以下の利点が得られる。
<ul><li>利用者の動向から<a class="oln" data-kno="K#/C21C" href="/C21C">向類</a>を学習させ、漸次的に<a class="oln" data-kno="K#/704E" href="/704E">検索精度</a>を向上させる<li>利用者の動向から<a class="oln" data-kno="K#/C21C" href="/C21C">向類</a>を学習させ、漸次的に個々の利用者に対して検索結果を変化させる<li>上記をしつつ、更新費用が高くなる<a class="oln" data-kno="K#/5E11" href="/5E11">応類</a>を不変あるいは低頻度での更新と出来る</ul><a class="oln" data-kno="K#/4256" href="/4256">レコメンド</a>においても同様のことができ、同じような利点が得られる。
 <a class="oln" data-kno="K#/41FF" href="/41FF">Two-Towerモデル</a>と同一。

 おそらく一般的には応類と向類は同じ言語モデルで生成して検索に用いるのだが、応類と向類で異なる言語モデルを用いることで以下の利点が得られる。
利用者の動向から向類を学習させ、漸次的に検索精度を向上させる利用者の動向から向類を学習させ、漸次的に個々の利用者に対して検索結果を変化させる上記をしつつ、更新費用が高くなる応類を不変あるいは低頻度での更新と出来るレコメンドにおいても同様のことができ、同じような利点が得られる。
Two-Towerモデルと同一。
  

t_wの輪郭

自然言語

NLP