Materialized View を go で作る
higuchi- 2020年4月30日
BigQuery に Materialized View がβリリースされました。 https://cloud.google.com/bigquery/docs/materialized-views-intro go の Client Library で作成してみます。 https://godoc.org/cloud…
higuchiの記事 （記事数: 9）
Cloud Functions のアクセス制御
- higuchi
- 2019年10月26日
○リカリさんのGCP記事って助かりますよね。 「その記事、知ってます!!」と話がスムーズに流れたり。 \[参考\] Google Cloud (GCP) Functionsの関数コール権をIAMで管理するためのテクニック https://tech.mercari.com/entry/2019/03/28/171100…
GCSのオブジェクトをS3にコピーする
- higuchi
- 2019年6月26日
先日、発表中に機材トラブルがあり地獄を見たので、 次回から発表はフリップでやろうかと思っている人です。 gsutil で GCS から S3 にオブジェクトをコピーしたい時に、 GCS → S3 でググると S3 → GCS の情報に埋もれがちです。 https://cloud.google.com/storage/…
BigQueryのパフォーマンスを上げる方法
- higuchi
- 2019年3月14日
今春の新入社員に「えっ、なんでクラスター化してないですか？」 と言われたくない人の為にクラスター化テーブルについて書きます。 2018/08にβ版がリリースされている機能です。 クラスター化テーブルの概要 文章が難解なのでよく読んでませんが、 指定したカラムをクラスター化して保存してくれるから、 WHERE や JO…
BigQueryでお金を溶かさないコツ
- higuchi
- 2018年10月20日
BigQueryは従量課金なので、下手なクエリを打って無駄にお金を溶かしたくはないものです。 操作ミスで高いクエリを実行してしまう大きな理由として、パーティション指定のし忘れがあると思います。 パーティション指定をし忘れを防ぐ為に、トラウマになるぐらいのパーティションを指定する反復練習をするのも一つの手ですが、パーテ…
Data Studio でデータ統合できるってよ
- higuchi
- 2018年7月21日
BigQuery にデータがあるなら、同じGCPのプロダクトである Data Studio で可視化したいところです。無料ですしね。 現状、BigQuery のデータを Data Studio メインで 可視化している企業はごく一部という印象です。 採用されない大きな理由として考えられるのは、 どの有料のBIツールに…
Data Studio のレポートを可視化する
- higuchi
- 2018年3月22日
デブサミ2018で話してきた一部を書きます。 無料のBIツール Google Data Studio の運用についてです。 Data Studioは データソースのキャッシュを自動で更新します。 なので、従量課金のデータソースをレポートにリンクしていると 閲覧していなくてもコストが発生します。 管理したいですが組織に…
BigQueryでUDFを使用する
- higuchi
- 2018年1月9日
BigQueryはUDF(ユーザー定義の関数)をサポートしています。 UDFはJavaScriptとSQL式で記述する事が出来ます。 サポートされる UDF 言語 今回はデータ型がSTRINGのカラムにJSON形式のデータを入れているテーブルから、 UDFを使用してJSON形式のデータをパースして取得してみたいと思い…
課金エクスポートの移行
- higuchi
- 2017年10月13日
本日(10/13)、たまたまエクスポート先のテーブルを見る機会があったのですが、 v1とかいうテーブルが増えました。 GCPには自動的に日次の課金データをBigQueryにエクスポートする機能があります。 GCPのコンソールから \[ お支払い 課金データのエクスポート \] v1テーブルのパーティションを調べて見る…