--- title: "AWSのデータをBigQuery Omniでさわる | grasys blog" url: "https://blog.grasys.io/post/nishino/getting-started-bq-omni" description: "BigQuery Omniを使う機会がありせっかくなので手順や所感をまとめてみました。 2022年2月8日時点の情報です。 つい最近のとある記事で「70年前の青森の写真」について取り上げられていましたが、誰の目にも触れられることのなかった写真がSNSで大きな反響があったらしくデータ活用と重ね合わせていろいろ思うところ…" --- # AWSのデータをBigQuery Omniでさわる - ![](/_astro/noicon.CTHOhNiB_1HMs6A.webp)[nishino](/authors/nishino/) - 公開日：2022年2月15日 - カテゴリー：[Tech](/categories/tech/) - タグ：[#BigQuery](/tags/bigquery/)[#bigquery\_omni](/tags/bigquery-omni/) ![AWSのデータをBigQuery Omniでさわる](/_astro/og-image.DDSiu2Ny_XHpDd.webp) BigQuery Omniを使う機会がありせっかくなので手順や所感をまとめてみました。 2022年2月8日時点の情報です。 つい最近のとある記事で「70年前の青森の写真」について取り上げられていましたが、誰の目にも触れられることのなかった写真がSNSで大きな反響があったらしくデータ活用と重ね合わせていろいろ思うところがありますね。 さて、この記事ではBigQuery Omniを使う機会がありせっかくなので手順や所感をまとめてみました。 2022年2月8日時点の情報です。 ## 記事内容 - BigQuery Omniのメリット - BigQuery Omniを使ってみる - BigQuery Omniのデメリットと所感 ## BigQuery Omniのメリット パブリッククラウドが登場して数年がたちました。複数のクラウドを運用することは珍しいことでは無くなってきました。 しかしこの背景でデータが散らばっているないしデータのサイロ化が発生しているんじゃないかと思います。 だからバッチ処理によるクラウド間でデータ連携(コピー)する流れが一般的にあると思いますが、 デメリットとしてデータの二重管理により追加のコストが発生します。 これを解消しようとするのがBigQuery Omniですね。 - クラウド間のデータ連携のコスト削減 - いつでも最新のデータでクエリ実行可能 - BigQueryの一本化でシステムをシンプル化 - BigQueryと連携している各サービスが利用できる - Looker - BigQuery GIS - BigQuery ML - Google Analytics 360 ## BigQuery Omniを使ってみる ### データを用意する - S3バケットを用意 - データを設置 ※ 現在利用できるリージョンは「米国東部 (バージニア北部) us-east-1」のみです 随時利用できるリージョンが増えるというので今後に期待ですね ※ 用意したバケットのARNを控えておいてください。後述の「AWS IAMポリシーを作成」で利用します。 ![データを用意する画面](/_astro/01-25-2-1024x704-f56c63d4.C1BZyaIJ_Z175Ox5.webp) ※ 用意するデータのネタが無ければ、こちら\[1\]を利用してみてください こちら\[1\]のデータを利用する際は諸事情でStack Overflowに記載されているコマンドの実行が必要です - \[1\] [https://docs.aws.amazon.com/redshift/latest/dg/c-getting-started-using-spectrum-create-external-table.html](https://docs.aws.amazon.com/redshift/latest/dg/c-getting-started-using-spectrum-create-external-table.html) - \[2\] [https://stackoverflow.com/questions/68824370/amazon-s3-cp-fails-with-accessdenied-when-calling-the-getobjecttagging-operati](https://stackoverflow.com/questions/68824370/amazon-s3-cp-fails-with-accessdenied-when-calling-the-getobjecttagging-operati) ※ 現状のBigQuery OmniではS3を作成元とするテーブルでS3バケットの直下でワイルドカードを使うことはできず、代わりに s3://mybucket/myfolder/_という表現で指定可能です 1つだけのオブジェクトであればS3バケットの直下に展開しても良いですが、複数ファイルが存在する場合はprefix(ディレクトリ)が必要です(s3://mybucket/myfolder/_) ### AWSのIAMでアクセス権限を設定する - AWS IAMポリシーを作成 - AWS IAMロールを作成 ※ BigQueryでクエリを実行するために必要なアクセス権は以下の通りです - AWS IAMポリシー「s3:ListBucket」 - 上に紐付けるS3のARN - AWS IAMポリシー「s3:GetObject」 - 上に紐付けるS3のARNとオブジェクトパスは全て(\*) ![AWSのIAMでアクセス権限を設定する画面（1）](/_astro/02-26-1-1024x767-fa0efa3b.8GcDUPPQ_23x3JR.webp) ※ AWS IAMロールを作成する際に指定するパラメータの補足 - 信頼されたエンティティタイプ「ウェブアイデンティティ」 - アイデンティティプロバイダー「Google」 - Audience「00000」 ← 後述の「BigQueryの接続設定」の後に正しい値に書き換えます - 許可ポリシーには前述で作成したAWS IAMポリシーを指定 ※ 用意したAWS IAMロールを開いて開いて最大セッション時間は「12時間」になるように編集してください ![AWSのIAMでアクセス権限を設定する画面（2）](/_astro/03-27-1-1024x549-44e7a015.WGFtqA2r_187vbM.webp) ※ 用意したAWS IAMロールのARNを控えておいてください。後述の「BigQueryの接続設定」で利用します。 ### BigQueryを接続する - BigQueryの接続設定 - AWS IAMロールを修正 ※ BigQueryの接続設定はこちらから ![BigQueryを接続する画面（1）](/_astro/04-28-1-1024x546-732240a6.B0DQT0oX_Z1DrGEm.webp) ※ 外部データソースの作成で指定するパラメータの補足 - 接続タイプ「AWS（BigQuery Omni 経由）」 - 接続ロケーション「aws-us-east-1」 - AWS ロール IDは前述で用意したAWS IAMロールのARNを入力 ![BigQueryを接続する画面（2）](/_astro/05-29-1024x593-c7da252f.CvCYXmbx_1GUSzI.webp) ※ 新しく作成した外部データソース(外部接続)を開くとBigQuery Google IDが表示されるので控えてください 前述で用意したAWS IAMロールの信頼関係タブを開いてaccounts.google.com:audに控えたBigQuery Google IDに書き換えてください ### データセットを作成する - データセット用意 - テーブル用意 ※ データセットの作成で指定するパラメータの補足 - データのロケーション「aws-us-east-1」 ※ テーブルの作成で指定するパラメータの補足 - テーブルの作成元「Amazon S3」 - S3 パスを選択「s3://bucket-name/directory-name/\*」 - ファイル形式「CSV」 - 用意するデータのネタが無ければ、こちら\[1\]…を利用していればCSVです - その他の場合は適切なファイル形式を選択する必要があります ※ スキーマは自動検出、または手動で定義できます 用意するデータのネタが無ければ、こちら\[1\]…を利用していれば\[1\]のページ下部にスキーマ情報が掲載されています ### クエリを実行する - BigQueryスロット コミットメントを購入 - GCPプロジェクトを予約割り当て - クエリを実行 ※ BigQueryには「オンデマンド」と「定額」 2種類の料金モデルがありますが、BigQuery Omniは定額で利用できます そのためにBigQueryスロット コミットメントを購入する必要があります こちらから購入可能です ![クエリを実行する画面（1）](/_astro/06-30-1024x614-df927531.BGXT5BAG_1ddpEa.webp) ※ スロットの購入で指定するパラメータの補足 こちらのパラメータでは1時間あたり$5で利用し放題です - コミット期間「Flex」 - ロケーション「Amazon US East (N. Virginia)」 - スロット数「100」 ![クエリを実行する画面（2）](/_astro/07-31-1024x924-c62dd3d3.C1LuG8qP_1WXgcT.webp) ※ スロット購入後はGCPプロジェクトを予約割り当てする必要があります ![クエリを実行する画面（3）](/_astro/08-32-1024x616-99851965.DAnlqgw7_Z2mTKuh.webp) ※ クエリ実行の結果イメージ スキーマを自動検出と設定しましたが、実際に活用する際はきちんと手動でスキーマ定義したほうが良いですね ![クエリを実行する画面（4）](/_astro/09-33-1024x552-2a0811a2.Bdi7sv68_25dy01.webp) ### 後処理 - 予約割り当ての削除 - スロット コミットメントの削除 あとでスクショ 場所は「Amazon US East (N. Virginia)」 ※ 予約割当の削除はこちら ![※ 予約割当の削除はこちらの画面](/_astro/10-34-1024x598-ed9747de.aEWCXDCO_XvrFM.webp) ※ スロット コミットメントの削除 ![※ スロット コミットメントの削除の画面](/_astro/11-35-1024x570-7cc5d3c1.CR3_UByX_W3QsO.webp) ## BigQuery Omniのデメリットと所感 唯一目立つデメリットはスロットを購入しないとBigQuery Omniでクエリを実行できないことですね スロットを購入する意思決定を出来る人が身近にいないと活用しづらい組織的な問題が発生する可能性があります 現状(2022年2月8日時点)利用できるリージョンは米国東部（バージニア北部、us-east-1）のみでしたので、今すぐBigQuery Omniを活用するには国外へのデータ移動を認める必要があります 兎にも角にもデータの送受信を実装して分析をするというコストを削減できそうなので喜んで受け入れたいプロダクトだと思いました ※ やっぱりS3 bucketのリージョンでap-northeast-1(東京)は使えませんでした。リージョンを統一する必要があるので、今後BigQuery Omniに対応するリージョンが増えていくことできっと東京が出現するはずなので待つか、先の展開を見据えて利用するのが良さそうです ※ 各項目でも触れていますが、S3 bucketの直下(prefix無し)のオブジェクトではBigQuery Omniで利用するテーブルを作成することができません テーブル作成時のS3パス指定の例ではうまく動作せず、Google Cloud (GCP)のサポートに問い合わせをして確認した結果前述のとおりです ## この記事を書いた人 [![](/_astro/nishino.qi9pzvtD_ZQ8ElO.webp)](/authors/nishino/) ### [nishino](/authors/nishino/) 食材も設計もコードもたくさん調理しますよ。 [プロフィールと記事一覧](/authors/nishino/)