grasys blog
grasysブログ

GCSのオブジェクトをS3にコピーする

先日、発表中に機材トラブルがあり地獄を見たので、
次回から発表はフリップでやろうかと思っている人です。

gsutil で GCS から S3 にオブジェクトをコピーしたい時に、
GCS → S3 でググると S3 → GCS の情報に埋もれがちです。

https://cloud.google.com/storage/docs/boto-gsutil?hl=ja

Mac ならホームディレクトリに .boto があります。

AWS で S3 のアカウント情報を作成して、
.boto に記述するだけで gsutil でコピーが可能です。

aws_access_key_id = AKIARYSAOXXXXXXXXXXX
aws_secret_access_key = BAk4mNgRbBJLl3axXxXxXxXxXxXxXxXxXxXxXxXx

実際のコマンドは下記のようになります。

gsutil cp gs://xxxx/xxxx.csv s3://xxxx/xxxx.csv

注意点としては、gsutil で GCS → S3 を実行した場合、
進行状況などの標準出力が表示されないので、不安になります。


株式会社grasys(グラシス)は、技術が好きで一緒に夢中になれる仲間を募集しています。

grasysは、大規模・高負荷・高集積・高密度なシステムを多く扱っているITインフラの会社です。Google Cloud、Amazon Web Services (AWS)、Microsoft Azureの最先端技術を活用してクラウドインフラやデータ分析基盤など、ITシステムの重要な基盤を設計・構築し、改善を続けながら運用しています。

お客様の課題解決をしながら技術を広げたい方、攻めのインフラ技術を習得したい方、とことん技術を追求したい方にとって素晴らしい環境が、grasysにはあります。
お気軽にご連絡ください。