grasys

#Cloud Storageの記事一覧

もうアクセスキーの発行はやめよう。S3からGCSへの「鍵なし」転送術

もうアクセスキーの発行はやめよう。S3からGCSへの「鍵なし」転送術

こんにちは、つのだです。 Google CloudのStorage Transfer Serviceを使用してS3からGCSへデータを送りたい時ありますよね。 でもアクセスキーの管理めんどくさい... 鍵ローテ？ダルい... 鍵の漏洩リスク？怖い... 「鍵なし」での転送方法は非常にスマートですが、設定手順はちっとも…

マイコン（ESP32）から GCS へファイルをアップロードする

マイコン（ESP32）から GCS へファイルをアップロードする

こんにちは。福島です。 Google Cloud だけでなく、低レイヤも触れていきます。 今回扱うボードは、ESP32-WROVER ボードです！ 練習 社用PC とUSB 接続するのはよろしくないので、私用のPCでやります。 チュートリアルの内容をデプロイして練習します。 Lチカ VideoCam + Web サー…

DuckDB を使ってクラウドストレージに置かれたデータを解析してみる

DuckDB を使ってクラウドストレージに置かれたデータを解析してみる

こんにちは kyuita です。 皆様はシステムエンジニアとして働いているとこんな場面に身に覚えがないでしょうか。 ・クラウドストレージ（GCS, S3 など）にログデータをアーカイブとして残している。だけど一度も中身を見たことない。 ・突然の依頼で大量のデータが納品されてデータの中身を把握しないといけない。 そんな…

Data Fusionでデータプラットフォームを作成する

Data Fusionでデータプラットフォームを作成する

こんにちは。エンジニアの山田です。 昨今ではAI（人工知能）の技術も進歩し、徐々に活用され始めていますが、例えば画像認識を使用したAIでは大量に蓄積された画像データから人の特徴や動作を学習（ディープラーニング）し、高い精度で個人を特定することができますし、ECサイトや動画配信サイトで使用されているAIでは個人の閲覧履…

Cloud Functions のアクセス制御

Cloud Functions のアクセス制御

○リカリさんのGCP記事って助かりますよね。 「その記事、知ってます!!」と話がスムーズに流れたり。 \[参考\] Google Cloud (GCP) Functionsの関数コール権をIAMで管理するためのテクニック https://tech.mercari.com/entry/2019/03/28/171100…

GCSのオブジェクトをS3にコピーする

GCSのオブジェクトをS3にコピーする

先日、発表中に機材トラブルがあり地獄を見たので、 次回から発表はフリップでやろうかと思っている人です。 gsutil で GCS から S3 にオブジェクトをコピーしたい時に、 GCS → S3 でググると S3 → GCS の情報に埋もれがちです。 https://cloud.google.com/storage/…

gsutilを使用してGCSへアクセスする場合の環境設定

gsutilを使用してGCSへアクセスする場合の環境設定

今回は、ローカルやオンプレミス、GCP以外からgsutilコマンドを使用してGCSへアクセスする場合の環境設定をいきたいと思います。 こんにちは、エンジニア泉水です。 冒頭で書いた通り今回は、gsutilコマンドでアクスする際の環境設定です。 1.GCSって？ 説明の必要はないと思いますが、、、 GCSはGCPが提供…

GCP+CloudFlare

GCP+CloudFlare

興味だけで行動！ CloudFlare: すっごい簡単に説明するとCDNですね CDNのCloudflare、Google Cloud Platformテクノロジーパートナーに 米Cloudflareは13日(現地時間)、Google Cloud Platformテクノロジーパートナーになったことを発表した。パートナーシップによってGoogleの柔軟性とスケーラビリティ、CloudFlareの高速

Google Cloud Storageで静的Webサイトを公開する！

Google Cloud Storageで静的Webサイトを公開する！

けっこういろんな人に聞かれるのでどうやるかを説明します。 ぶっちゃけこれ聞かれることが多いのでCloud DNS書きました！ｗ Google Cloud Storageではaclを公開に設定し websiteの設定を入れることで簡単に静的Webサイトを構築することができます。 自分のgrasys.ioの会社サイトもGoogle Cloud Storageで公開してます。 grasys.ioでGoo

Google Cloud Storage Nearlineを試してみた！

Google Cloud Storage Nearlineを試してみた！

新しいの出たから速攻試す！ 以下DocumentURLhttps://cloud.google.com/storage/docs/nearline storage 適当に1GBのファイル作成 ASIAでNearlineのbucket作成 NEARLINEになってるか確認 コピーしてみると同時に何秒かかるか 結果 100個くらいのファイルでやってみる ガバっとrsync 結果 取り出す はええｗｗ