DuckDBでSQLクエリを叩くときにCSV形式よりもApache Parquet形式のほうが早い理由
nishino- 2025年12月10日
先に理由を書きますが、ParquetのRow Group単位で並列処理できるしフルスキャンを避けれるからです。 システムでも分析タスクでもSQLクエリを叩く（問い合わせ）したらなる早でレスポンス欲しいですよね。この記事で検証を進めながらなる早でレスポンスもらえる方法と仕組みをシェアします。 DuckDBの特徴 例えば…
#DuckDBの記事一覧
DuckDBでデータをParquet形式に出力する方法 🦆
kyuita- 2025年8月27日
こんにちはkyuitaです。 皆様は業務でBigQueryなどのデータ分析用にParquet形式でのデータを求められることはないでしょうか。 今回はDuckDBをデータフォーマット変換のツールとして利用してみます。 Parquet形式とは 大規模なデータ分析で広く使われるカラムナ型(列指向)データストレージフォーマッ…
DuckDB を使ってクラウドストレージに置かれたデータを解析してみる
- kyuita
- 2025年4月2日
こんにちは kyuita です。 皆様はシステムエンジニアとして働いているとこんな場面に身に覚えがないでしょうか。 ・クラウドストレージ（GCS, S3 など）にログデータをアーカイブとして残している。だけど一度も中身を見たことない。 ・突然の依頼で大量のデータが納品されてデータの中身を把握しないといけない。 そんな…