『DuckDB Node Neo Client – DuckDB』
maximum_object_size
read_json_auto('filename.json', maximum_object_size=104857600);
『DuckDB で JSON Lines 形式のログを精査する』
『duckdbのextensionづくりメモ』
Next.jsでDuckDBを使うときにnode-pre-gypでエラーになるときは、next.config.*のserverExternalPackagesにduckdbを追加すると直る
なおるよ!!
pg_duckdb
『PostgreSQL Extension – DuckDB』
pg_analytics
『S3にあるALBログの調査はAthenaよりDuckDBのほうが簡単 - road288の日記』
『オープンソースの S3 互換オブジェクトストレージ MinIO を DuckDB で使う』
『duckdb - crates.io: Rust Package Registry』
『Analytics-Optimized Concurrent Transactions – DuckDB』
DuckDB Wasm
『DuckDB で S3 のサーバーアクセスログを集計できた』
『What's New in the Vector Similarity Search Extension? – DuckDB』
あれ
DuckDB supports the dot syntax for function chaining. This allows the function call fn(arg1, arg2, arg3, ...) to be rewritten as arg1.fn(arg2, arg3, ...). For example, take the following use of the replace function:
SELECT replace(goose_name, 'goose', 'duck') AS duck_name
FROM unnest(['African goose', 'Faroese goose', 'Hungarian goose', 'Pomeranian goose']) breed(goose_name);This can be rewritten as follows:
SELECT goose_name.replace('goose', 'duck') AS duck_name
FROM unnest(['African goose', 'Faroese goose', 'Hungarian goose', 'Pomeranian goose']) breed(goose_name);
Uniform Function Call Syntaxだ!!
DuckDBは圧縮されたjsonを読み込める
『JSON Import – DuckDB』
あれ
機械学習とDuckDBが相性が良い説がある。
HuggingFaceにあるデータセットのURLを指定するだけでSQLでデータ取得できる。
例:
SELECT * FROM 'https://huggingface.co/datasets/izumi-lab/wikipedia-ja-20230720/resolve/main/data/train-00000-of-00008-ff339eae82f3a35d.parquet?download=true' LIMIT 10;
『DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck』
あれ
DuckDBを業務で便利に使っている。
MSのフォームを集計するのに便利。XLSXからCSVにしてDuckDBで読み込めば、ややこしい集計がSQLでできるぜ!
CSVを複数読み込むことがもちろんできるので、「今回のアンケートで回答がなかった人は、前回のアンケートの回答を現時点の意向とみなす」みたいな集計がバンバンできる。Fooo!
『Output Formats – DuckDB』
『DuckDB in Action』
『DuckDB爆速すぎてGISに使ったりChatGPTと組み合わせてみる』
DuckDB-NSQL
『AWS Athenaの安価な代替手段:Lambda x DuckDB #TypeScript - Qiita』
『Friendly Lists and Their Buddies, the Lambdas – DuckDB』
『duckdb/duckdb-wasm: WebAssembly version of DuckDB』
DuckDB Query Generator
『DuckDB Text-2-SQL』
あれ
ブログのリプレイスできたああああああああ!!!!!
AWS Amplifyで動かしたら月額1万円かかって爆死したので、Vultrに戻した。
ついでにPostgreSQLからDuckDBに変えてみた。
PostgreSQLで300msかかってた処理が100msになった。やったぜ。
あれ
あたまおかしい
Importing Excel Sheets
Use the st_read function in the FROM clause of a query:
SELECT * FROM st_read('test_excel.xlsx');