t_wの輪郭

Web Prowlerの推薦性能を改善する方法が見えた。
ユーザーのベクトル化であるUser Embeddingを計算して、User EmbeddingとリンクのSentence Embeddingの類似度でクロールすれば良い。
推薦も今見ているページのSentence Embeddingを使って良きようにする。
User Embeddingは操作に応じて随時修正する。

あばーーーーーーーーーーーーーー

あっ、クソッ、研究のために日経からCypressで記事データブッコぬこうとか思ったらreCAPTCHAで保護してやがるッ！

技術音痴の日経の割にしっかりしてはるな。

https://ap-northeast-1.console.aws.amazon.com/dataexchange/home?region=ap-northeast-1#/subscription-requests/ar-clv8tg38o4ea824fgq4aogf53

無料で試用できる日経の記事データ

会社のMacbookが帯電しすぎて触りたくなくなってきたので、導電マットポチった。

これ→ ホーザン(HOZAN) ESD卓上マット 静電気を大地(アース)へ逃がす F-310-L
とこれ→ ホーザン(HOZAN) アース線 ワニグチクリップ付属 コード実効長:1.6m ホック径:7mmφ F-24

MacbookとIIYAMAのモニターの下に敷く。多分IIYAMAのモニターが悪い。GND繋いでるのに帯電してる気がする。

https://amzn.to/3R53Ur6

https://amzn.to/415KW88

実質Lambda

作業に手をつけるもの30分で力尽きた

いやまじであかんわ。体調不良レベルのやる気の出なさ。

やる気でなさすぎヤバい

iPhoneでもデライトをPWAにすると、輪符をドラッグ&ドロップできないっぽい

35 107387 310942 7

LLMの日本語の訳語が欲しい。
「大規模言語モデル」は野暮ったすぎる。

「Multimodal Embeddingとかあるんだ」とか言ってたら、Titan Multimodal Embeddings G1が出てきた。

もう何もせずに寝てればいいじゃん。

なんか頭働かん

Issue起票とかの文章を書くLLM App

画像と文章のEnbeddingが取れるっぽい

やはり他者輪郭を引き入れるというのは、主からの引き外しがあるため脆弱。中景に輪符を書くのが頑健か。その上で、引き入れておくと便利ぐらいの位置づけにしておいたほうが良さそう。

更に頑健にするならば、引用の要件を満たした上で引用することだろう。引用時点での寸写(スナップショット)とすることができる。

idTokenをぶっこ抜く

InMemoryTokenStorage.ts

export class InMemoryTokenStorage implements Storage {
    private storage: { [key: string]: string | null } = {}
    get length(): number {
        return Object.keys(this.storage).length
    }
    key(index: number): string | null {
        return Object.keys(this.storage)[index]
    }
    getItem(key: string): string | null {
        return this.storage[key]
    }
    setItem(key: string, value: string): void {
        this.storage[key] = value
    }
    removeItem(key: string): void {
        delete this.storage[key]
    }
    clear(): void {
        this.storage = {}
    }
}

設定

const token_storage = new InMemoryTokenStorage();
Amplify.configure({
    ...awsmobile,
    Auth: {
        storage: token_storage,
    }
})

ぶっこ抜いたidTokenを使ってAPIを叩く

async function idToken_get() {
    (await public_user_account_get());
    return Object.entries(token_storage.storage).map(([key, value]) => `${key}=${value}`).join("; ");
}

async function public_user_account_get() {
    return await (async () => {
        try {
            return await Auth.currentAuthenticatedUser();
        } catch (error) {
            try {
                return await Auth.signIn(process.env.PUBLIC_EMAIL_ADDRESS ?? "", process.env.PUBLIC_PASSWORD ?? "");
            } catch (error) {
                return undefined;
            }
        }
    })()
}

const SSR = withSSRContext({ req: { headers: { cookie: await idToken_get() } } });

const result = await SSR.API.graphql({
    query: deleteRelation,
    variables: {
        input: {
            id: relation.id,
            _version: relation._version,
        }
    }
})

参考

InMemoryTokenStorageのパクリ元：『Amplifyでアクセストークンをin-memoryに置いてみる』

https://zenn.dev/p0n/articles/b383c33faae4e3

https://zenn.dev/sueyoshi/articles/96c296e66963cd

So, do an:

amplify override api

Update the tablename in the override.ts as:

resources.models["Todo"].modelDDBTable.tableName = "tod";

https://github.com/aws-amplify/amplify-category-api/issues/439

デライトみたいなメールシステム作りたい

Amplifyに乗っけたNext.jsから直接DynamoDBたたくの大変っぽい。テーブル名を同定でけへん。

src/middleware.ts

import { NextRequest, NextResponse } from 'next/server'

// IPホワイトリスト
const IP_WHITELIST = ['::1', ...JSON.parse(process.env.IP_WHITELIST ?? "[]")];
const IP_RESTRICT = process.env.IP_RESTRICT === 'true';

export async function middleware(request: NextRequest) {
    if (IP_RESTRICT) {
        // IPアドレスを取得
        let ip: string = request.ip ?? request.headers.get('x-real-ip') ?? '';

        // プロキシ経由の場合、x-forwarded-forヘッダーからIPアドレスを取得
        const forwardedFor = request.headers.get('x-forwarded-for');
        if (!ip && forwardedFor) {
            ip = forwardedFor.split(',').at(0) ?? 'Unknown';
        }

        // 取得したIPアドレスがホワイトリストに含まれているかチェックし、含まれていない場合はアクセス拒否
        if (!IP_WHITELIST.includes(ip)) {
            return NextResponse.json({ message: 'Unauthorized' }, { status: 401 });
        }
    }

    return NextResponse.next();
}

LambdaでBERTを動かせるようになったんだけども、この知識を200万円ぐらいで売りたい。

誰か買ってくんねーかなぁ……
AI構築を外注すると考えると、安いほうですわよ。

ちなみにAI構築を外注すると、1回の試行で数百万円かかった上でだいたい失敗するらしいぞ♥

https://note.com/maskedanl/n/n35fa7bb528c0

自称AIベンチャーガチャ
金額：50万円～億単位
技術力：宇宙創生
成功率：努力と根性と運次第

iPhoneでデライトの輪符をドラッグ&ドロップできてめちゃうれしい

https://aws.amazon.com/jp/blogs/compute/hosting-hugging-face-models-on-aws-lambda/

取得されたURLはこんな感じ（ダサい）。
https://dlt.kitetu.com/KNo.D657/7F64#:~:text=%E3%81%9F%E3%81%A0%EF%BC%8C%E3%80%9D-,id%E5%B1%9E%E6%80%A7%EF%BC%88%3Dname%E5%B1%9E%E6%80%A7%EF%BC%9F%EF%BC%89,-%E3%81%AE%E3%82%88%E3%81%86%E3%81%AA

頑張って整形するとこんな感じ。
https://dlt.kitetu.com/KNo.D657/7F64#:~:text=ただ，〝-,id属性（%3Dname属性？）,-のような

輪結はFirefox以外なら大体対応しています。
https://caniuse.com/url-scroll-to-text-fragment

500MBあるBERTをONNXに変換した後に量子化したら110MBほどになってLambdaで動かせるようになった。
Githubに乗せるファイルは100MB以下でないとだめなので、ダメ押しでgzipで圧縮したら75MBになった。

const onnx_zip = fs.readFileSync('./sonoisa_sentence-bert-base-ja-mean-tokens-v2_onnx/model_quantized.gz');
const onnx_buffer = zlib.unzipSync(onnx_zip)
const session = await ort.InferenceSession.create(onnx_buffer);

knownetの検索をBedrockからBERTに移行した。
検索精度の変化は定量的な比較をしてないので謎。体感的には変わらん気がする。

LambdaでBERTを動かして、Sentence Embeddingを取れるようになったぞ！！！

これでやっとBedrockにAIモデルを握られなくて済む。今まで睾丸をグリップされていた。

sonoisa/sentence-bert-base-ja-mean-tokens-v2で類似度のヒートマップ

https://huggingface.co/sonoisa/sentence-bert-base-ja-mean-tokens-v2/tree/main

https://note.com/if001/n/n25d795afe571

python3 -m transformers.onnx --model=sentence-transformers/paraphrase-multilingual-mpnet-base-v2 onnx/ --opset=18

optimum-cli onnxruntime quantize --onnx_model ./onnx --output onnx_quantize/ --arm64

これが商用に乗っかってきたら、屋内位置測位ができるようになるじゃん

https://newswitch.jp/p/39453

• 宇宙からの素粒子「ミュオン」により地下での高精度位置測位を実現
• センチメートル単位の位置測位精度を達成
• 原理的にはミリメートル単位の位置測位も可能

CustomerError: The size of the build output (389192469) exceeds the max allowed size of230686720 bytes. Please reduce the size ofyour build output and try again.

あっ
ちくしょう
Amplify死ね

AWS君さぁ……Lambdaのサイズ制限にしろ、Amplifyのサイズ制限にしろ、厳しすぎやしませんかね……

Git Large File Storage

iPhone 15 Pro Maxを買っちゃった。

NVC-Mentorって思考フレームワークのLLM App化で、これってめっちゃおもろい気がする。

何の略だろう

https://www.google.com/search?q=ICS+site%3Ahttps%3A%2F%2Fwww.ipa.go.jp

https://partyrock.aws/u/icoxfog417/BwuZ_5PCT/NVC-Mentor

PartyRockで作られたNVCの思考フレームワークを実演するLLM App

NonViolent Communication

共感による互恵関係を築くプロセス

AWSのFaaS。
プログラムやDocker Containerを動かせる。

お試し用URL:　https://knownet.towasys.com/

• 自分で書いた文章が主であること
• 引用で用いる他者の文章の量は最小限とすること

とかなんとか（うろ覚え）

ちゃんと調べてみた

１ すでに公表されている著作物であること
２ 「公正な慣行」に合致すること（例えば，引用を行う「必然性」があることや，言語の
著作物についてはカギ括弧などにより「引用部分」が明確になっていること。）
３ 報道，批評，研究などの引用の目的上「正当な範囲内」であること（例えば，引用部
分とそれ以外の部分の「主従関係」が明確であることや，引用される分量が必要最小
限度の範囲内であること）
４ ｢出所の明示｣が必要（複製以外はその慣行があるとき）

描写こと