grasys

#BigQueryの記事一覧

Data Fusionでデータプラットフォームを作成する

Data Fusionでデータプラットフォームを作成する

こんにちは。エンジニアの山田です。 昨今ではAI（人工知能）の技術も進歩し、徐々に活用され始めていますが、例えば画像認識を使用したAIでは大量に蓄積された画像データから人の特徴や動作を学習（ディープラーニング）し、高い精度で個人を特定することができますし、ECサイトや動画配信サイトで使用されているAIでは個人の閲覧履…

BigQuery クエリコストについて

BigQuery クエリコストについて

こんにちは、ATです。 最近、BigQueryのクエリを書いていて気になったことがあったのでメモしときます。(2022/03/18時点の内容) BigQueryをオンデマンドで使ってるとクエリ実行時の課金額が気になりますよね。 オンデマンドでは、読んだデータ量に応じて課金されるので、どのくらいのデータ量なのか気にしつ…

AWSのデータをBigQuery Omniでさわる

AWSのデータをBigQuery Omniでさわる

BigQuery Omniを使う機会がありせっかくなので手順や所感をまとめてみました。 2022年2月8日時点の情報です。 つい最近のとある記事で「70年前の青森の写真」について取り上げられていましたが、誰の目にも触れられることのなかった写真がSNSで大きな反響があったらしくデータ活用と重ね合わせていろいろ思うところ…

Materialized View を go で作る

Materialized View を go で作る

BigQuery に Materialized View がβリリースされました。 https://cloud.google.com/bigquery/docs/materialized-views-intro go の Client Library で作成してみます。 https://godoc.org/cloud…

SQL の小ネタ

SQL の小ネタ

こんにちは、ATです。 新型コロナがなにかと世間を騒がしていますね。 こういう時こそ冷静に行動したいです。(買い占めやめて、お願い！) というわけでネタに困ったときの小ネタ回です。 今回はSQLの小ネタを書いていきます。 とりあえず文字数を稼いだところで早速ネタに。 前提：Bigquery StandardSQL 1…

BigQueryのパフォーマンスを上げる方法

BigQueryのパフォーマンスを上げる方法

今春の新入社員に「えっ、なんでクラスター化してないですか？」 と言われたくない人の為にクラスター化テーブルについて書きます。 2018/08にβ版がリリースされている機能です。 クラスター化テーブルの概要 文章が難解なのでよく読んでませんが、 指定したカラムをクラスター化して保存してくれるから、 WHERE や JO…

BigQueryでお金を溶かさないコツ

BigQueryでお金を溶かさないコツ

BigQueryは従量課金なので、下手なクエリを打って無駄にお金を溶かしたくはないものです。 操作ミスで高いクエリを実行してしまう大きな理由として、パーティション指定のし忘れがあると思います。 パーティション指定をし忘れを防ぐ為に、トラウマになるぐらいのパーティションを指定する反復練習をするのも一つの手ですが、パーテ…

BigQueryでUDFを使用する

BigQueryでUDFを使用する

BigQueryはUDF(ユーザー定義の関数)をサポートしています。 UDFはJavaScriptとSQL式で記述する事が出来ます。 サポートされる UDF 言語 今回はデータ型がSTRINGのカラムにJSON形式のデータを入れているテーブルから、 UDFを使用してJSON形式のデータをパースして取得してみたいと思い…

GKEでFluentクラスタを作っちゃおう！もちろんBigQueryにデータを叩き込むよVer

GKEでFluentクラスタを作っちゃおう！もちろんBigQueryにデータを叩き込むよVer

(n‘∀‘)η ﾔｧｰｯﾎｫｰ<２ヶ月ぶりの投稿だよ！grasysではプリチィ担当のどくまです♪ 今回はGKEでFluentクラスタを作った時の作業をまとめるよ！これができればあなたもGKEマスター？ ぐらいな濃いめの内容になっています。 なので、初歩的なところははもろもろ省いちゃってますごめんなさい。 ゴール ワン…