先日、発表中に機材トラブルがあり地獄を見たので、
次回から発表はフリップでやろうかと思っている人です。
gsutil で GCS から S3 にオブジェクトをコピーしたい時に、
GCS → S3 でググると S3 → GCS の情報に埋もれがちです。
https://cloud.google.com/storage/docs/boto-gsutil?hl=ja
Mac ならホームディレクトリに .boto があります。
AWS で S3 のアカウント情報を作成して、
.boto に記述するだけで gsutil でコピーが可能です。
aws_access_key_id = AKIARYSAOXXXXXXXXXXX
aws_secret_access_key = BAk4mNgRbBJLl3axXxXxXxXxXxXxXxXxXxXxXxXx
実際のコマンドは下記のようになります。
gsutil cp gs://xxxx/xxxx.csv s3://xxxx/xxxx.csv
注意点としては、gsutil で GCS → S3 を実行した場合、
進行状況などの標準出力が表示されないので、不安になります。
株式会社grasys(グラシス)は、技術が好きで一緒に夢中になれる仲間を募集しています。
grasysは、大規模・高負荷・高集積・高密度なシステムを多く扱っているITインフラの会社です。Google Cloud (GCP)、Amazon Web Services (AWS)、Microsoft Azureの最先端技術を活用してクラウドインフラやデータ分析基盤など、ITシステムの重要な基盤を設計・構築し、改善を続けながら運用しています。
お客様の課題解決をしながら技術を広げたい方、攻めのインフラ技術を習得したい方、とことん技術を追求したい方にとって素晴らしい環境が、grasysにはあります。
お気軽にご連絡ください。
