grasys

Techの記事

GCSのオブジェクトをS3にコピーする

GCSのオブジェクトをS3にコピーする

先日、発表中に機材トラブルがあり地獄を見たので、 次回から発表はフリップでやろうかと思っている人です。 gsutil で GCS から S3 にオブジェクトをコピーしたい時に、 GCS → S3 でググると S3 → GCS の情報に埋もれがちです。 https://cloud.google.com/storage/…

Vault/Terraform Enterprise

Vault/Terraform Enterprise

こんにちは。久しぶりの投稿です。 まだ生きてます。 HasiCorpの3製品Consul/Vault/Terraformに関して正式に認定を受けたのですが、Enterpriseの機能はドキュメントを読んだだけではややこしくてわかりにくいと思いましたので、Vault Enterpriseの機能に関して紹介します。 とこ…

Keras のインストール

Keras のインストール

こんにちは、ATです。 前回はLaravelの地味なTipsを書きましたが今回は最近よく触っているKerasについて書いていきます。 あくまで主観ですが深層学習界隈ではKeras使用が普通、標準になってると思います。 なので大きな流れに乗ってKerasでいくことにしましょうか。 と言う訳で今回はKerasインストール…

gsutilを使用してGCSへアクセスする場合の環境設定

gsutilを使用してGCSへアクセスする場合の環境設定

今回は、ローカルやオンプレミス、GCP以外からgsutilコマンドを使用してGCSへアクセスする場合の環境設定をいきたいと思います。 こんにちは、エンジニア泉水です。 冒頭で書いた通り今回は、gsutilコマンドでアクスする際の環境設定です。 1.GCSって？ 説明の必要はないと思いますが、、、 GCSはGCPが提供…

~第一回~ NomadクラスタをGCEに構築する

~第一回~ NomadクラスタをGCEに構築する

こんにちは。grasys清水です。 最近Kubernetes(:以下k8s)が何かと話題ですよね。その熱の煽りを受けてか、業務でGKEを触る機会がだんだんと増えています。 ただ、今回はk8sに関する記事ではありません。 今回は選択肢を増やす、という意味で似たようなプロダクトHashiCorp社が提供する Nomad…

ディスク容量が逼迫しているけど消せるファイルが無い時に試すコマンド

ディスク容量が逼迫しているけど消せるファイルが無い時に試すコマンド

こんにちは、grasys加藤です。 気がついたらCentOSサーバのディスク容量がいっぱいになっていること、ありませんか？ ディスク容量が今すぐ空きが欲しい、 でも消せるファイルが見当たらないし、 クライアントのレスポンスも悪い・・・ そんな時にもしかすると少し容量が空くかもしれないtipsです。 私がよく取るのディ…

 Datadogの使用イメージを掴む

 Datadogの使用イメージを掴む

こんにちは角田(tsunoda)です。 今回はDatadogを触ってみたので、グラフの設定の方法など基本的な使い方をざっくりご紹介します。 Datadogってこんな感じかというイメージをもって頂ければ幸いです。 Datadogとは Datadogとは、モニタリングクラウドサービスです。 サーバのリソースやミドルウェア…

BigQueryのパフォーマンスを上げる方法

BigQueryのパフォーマンスを上げる方法

今春の新入社員に「えっ、なんでクラスター化してないですか？」 と言われたくない人の為にクラスター化テーブルについて書きます。 2018/08にβ版がリリースされている機能です。 クラスター化テーブルの概要 文章が難解なのでよく読んでませんが、 指定したカラムをクラスター化して保存してくれるから、 WHERE や JO…

Laravel の小ネタ

Laravel の小ネタ

はじめまして、grasys 諏訪です。 最近、よく触っているLaravel についてTips的なものを紹介していきます。 今回のお話で扱うLaravelのバージョンは 5.6 です。 ルーティンググループの名前 ルーティングの設定で、各ルートに名前をつけられますがグループに対しても名前をつけられます。 また、グループ…

圧縮コマンドのススメ

圧縮コマンドのススメ

圧縮系コマンドの試験 弊社の長谷川の記事\[圧縮形式検証（MongoDBのDumpがでかい！）\]を見て「圧縮コマンドについてもっと知りたい！」と思い、居ても立っても居られなくなりました。さあshimichan、検証をしましょう。 ローカルに置くにしても、GCSへ上げるにしても、データサイズは極力小さくしておきたいも…

圧縮形式検証（MongoDBのDumpがでかい！）

圧縮形式検証（MongoDBのDumpがでかい！）

grasysの代表しております長谷川です。 2019年、あけましておめでとうございます！ 本年もよろしくお願い致します！ 早速ですが、grasysではMongoDBの運用もしています。 ただMongoDBのDumpが非常に大きくて困っています。 Cloud使ってるからObject StorageにUploadしちゃえ…

AWSとGCPでSysbenchベンチマーク

AWSとGCPでSysbenchベンチマーク

grasys加藤です。 前回、泉水がベンチマークを取りましたが、その続きです。 GCPとAWSでmysql8.0.13を構築して、sysbenchでベンチマークしてみました。 いきなり結論 計測する度にreadの数がバラける！！ とはいうものの、今回の結果ではwriteは概ねGCPの方が高速、readも心の目で見ると…

GCPのComputeEngineとaws EC2のベンチマーク取ってみた

GCPのComputeEngineとaws EC2のベンチマーク取ってみた

こんにちはgrasys blog初登場になります、エンジニアの泉水です。 東京寒いですね、、、(沖縄出身なんです） 今回はGCPのcompute engineとAWSのEC2のベンチマークを取得し比較してみました。 ことの発端は… GigaZineさんの記事どちらが全体的に優秀なのか、AmazonとGoogleのクラ…

Galera Load Balancer

Galera Load Balancer

はじめまして、grasys 平井です。 今回、DBバックエンドへの接続にGalera Load Balancerを試したのでその紹介です。 弊社ではDBバックエンドにPercona XtraDB Clusterを使用しています。 Percona XtraDB Clusterでは、クラスタを構成する全ノードがマスタであ…

fail2banとCloud Armorでbanする

fail2banとCloud Armorでbanする

こんにちは角田(tsunoda)です。 ゼノバース２のレイドボス強ぇ 。。 最長老に会いたいけどなかなか会ってくれません(´ཀ\ 」 ∠) Happy Halloween☆ そんな中先日、fail2banとCloud Armorの組み合わせでIPをbanしたのでご紹介します。 fail2banとは fail2banと…

BigQueryでお金を溶かさないコツ

BigQueryでお金を溶かさないコツ

BigQueryは従量課金なので、下手なクエリを打って無駄にお金を溶かしたくはないものです。 操作ミスで高いクエリを実行してしまう大きな理由として、パーティション指定のし忘れがあると思います。 パーティション指定をし忘れを防ぐ為に、トラウマになるぐらいのパーティションを指定する反復練習をするのも一つの手ですが、パーテ…

GCEにConsulをさっとデプロイしてみる

GCEにConsulをさっとデプロイしてみる

こんにちは。grasysでSREをやっております守永です。 最近天変地異が日本を襲ってきていますが、そんな中でさっと検証しなければならない！ なーんてことがあると思います。 GCEのインスタンスを立ててさっと検証用にConsulをインストールしてみましょう。 今回使用したイメージはこちら debian-9-stret…

TerraformでFirewallのIPアドレスをまとめて定義しておくと便利だとなぜ早く気が付かなかった・・・

TerraformでFirewallのIPアドレスをまとめて定義しておくと便利だとなぜ早く気が付かなかった・・・

grasys加藤です。 今回はTerraformを使ってFirewallルールのIPアドレスを定義する時にキレイに整理できる小ネタです。 それなりにTerraformを使ってきましたが、IPアドレスの列記に不便を感じていたわけですよ、あちこちのルールに同じIPアドレスが出現するわけですから。 なぜ今までIPアドレスを…

MongoDB 4.0 + CentOS 7.5 を構築

MongoDB 4.0 + CentOS 7.5 を構築

こんにちは。grasys 清水です。 MongoDB の ver4.0 が6月(2018)に発表されましたね。 意外とネットにver4.0の構築ネタがなかったので今回はそちらをご紹介。 ver4.0からトランザクション機能が実装されたので、注目されている方もいるのではないでしょうか。 今回はCentOS 7にMong…

terraformで作るHTTP(S) 負荷分散

terraformで作るHTTP(S) 負荷分散

はじめまして、昨年8月よりgrasysにJoinしました大川と申します。 以後お見知り置きを。 構成要素が多く地味に作るのが面倒なHTTP(S) 負荷分散について、シンプルな構成をterraformで作る方法をドキュメントを追 いつつゆるく解説させていただきます。 1. GCPを触ったことがある 2. terrafo…

jmeter負荷試験

jmeter負荷試験

こんにちは角田(tsunoda)です。 毎日暑いですね〜。 先日jmeterによる負荷試験を行ったので、ハマった部分などをご紹介します。 jmeterインストール 今回はjmeter-3.3を入れました。 ローカルのmacに入れてみる。 jmeterのソースが置いてあるページから3.3をインストールしました。 htt…

Data Studio でデータ統合できるってよ

Data Studio でデータ統合できるってよ

BigQuery にデータがあるなら、同じGCPのプロダクトである Data Studio で可視化したいところです。無料ですしね。 現状、BigQuery のデータを Data Studio メインで 可視化している企業はごく一部という印象です。 採用されない大きな理由として考えられるのは、 どの有料のBIツールに…

ProxySQL

ProxySQL

ProxySQL 弊社ではDBバックエンドへの接続にMaxScaleを使っていますが、別のソリューションも欲しかったのでProxySQLを試した時のドキュメントです。何かお役に立てば幸いです。 少し概念がややこしいので、ドキュメントは充実していますので、ちゃんと使いたい人はきちんと読みましょう。 ちなみに、CentO…

同僚に「早く言ってよ〜」と言われたTerraform小技

同僚に「早く言ってよ〜」と言われたTerraform小技

grasys加藤です。 今回はTerraformを使ってデプロイしている横で「え、何、どうやったの？」「早く言ってよ〜」と同僚に言われる小技を紹介します。 折に触れて当社イベントなどで紹介していますが、当社はGCPリソースの管理を HashiCorp 社のTerraformに集約しています。 Infrastructu…

nginx rewrite おさえるべきポイント

nginx rewrite おさえるべきポイント

こんにちは角田(tsunoda)です。 今回はapacheからnginxへの移行の際のrewriteについてです。 最近さわっていて結構ハマったので、おさえるべきポイントをご紹介します。 自分も調べながらやったのですが、お困りの方が多いように思えました。 nginxへ移行をお考えの方、基本的な事ですがご参考にして頂け…

Data Studio のレポートを可視化する

Data Studio のレポートを可視化する

デブサミ2018で話してきた一部を書きます。 無料のBIツール Google Data Studio の運用についてです。 Data Studioは データソースのキャッシュを自動で更新します。 なので、従量課金のデータソースをレポートにリンクしていると 閲覧していなくてもコストが発生します。 管理したいですが組織に…

OpenEBS Container Attached Storage

OpenEBS Container Attached Storage

OpenEBS 最近流行りのコンテナ用Persistent Diskソリューション(Container Attached Storage)のOpenEBSを使ってみたので公開。 メリット/デメリットは次のような感じ。個人的には運用ベースで考えるとメリットの方がデメリットを上回ってると考えています。パフォーマンスに関し…

AlexaとActions on Googleのハンズズオンに参加してきた

AlexaとActions on Googleのハンズズオンに参加してきた

こんにちは！ grasysの注目若手エンジニア川﨑です。(grasys内ではまだまだ若手ポジション) 今回は最近流行るかもしれないスマートスピーカーのアプリ開発ハンズオンに参加してきたので その事について書きます。 でもハンズオンの内容とかアプリ開発の初歩の手順とかは色んな人が既に書いてるので ここにはその場で質問し…