#Parquetの記事一覧

DuckDBでSQLクエリを叩くときにCSV形式よりもApache Parquet形式のほうが早い理由

DuckDBでSQLクエリを叩くときにCSV形式よりもApache Parquet形式のほうが早い理由

先に理由を書きますが、ParquetのRow Group単位で並列処理できるしフルスキャンを避けれるからです。 システムでも分析タスクでもSQLクエリを叩く(問い合わせ)したらなる早でレスポンス欲しいですよね。この記事で検証を進めながらなる早でレスポンスもらえる方法と仕組みをシェアします。 DuckDBの特徴 例えば…