EMR を触りながら Hadoop 関連の各コンポーネントや構成を調べつつ、全体像がどんなイメージになるのかの自分用メモ

はじめに

EMR を触ることになったけど Hadoop のこともそれほどわかっていないのにマネージドサービスのものを触ってもよくわからないので調べた自分用のメモ。

Apache Kafka の構成要素とかに関して調べたことの自分用メモ

はじめに

Amazon Managed Streaming for Apache Kafka (MSK) を触る必要が出てきたので、Apache Kafka の概要を浅く理解するために調べた自分用メモ。 まだあんまりわかっていないので、誤ったことを書いている可能性が高いので、都度修正する予定。

Google Cloud 向けに Terraform を使うためのローカル環境を準備する

はじめに

Google Cloud の環境構築を Terraform で行いたいので、Terraform を実行するにあたってどういう風に設定すれば良いのか調べた。

Cloud SDK をインストールして gcloud コマンドを使って config の設定をする

はじめに

Google Cloud を使い始めているため、色々環境整備をしている。

ローカルで Google Cloud を扱うにあたって、 Cloud SDK というのがあり、これを使って CLI で操作できるので、これをインストールして触ってみる。

• Cloud SDK のドキュメント  |  Google Cloud

Google Cloud の利用を開始するにあたって必要となるユーザーアカウントに関するメモ

はじめに

Google Cloud を利用開始するにあたって、自分の Google アカウント(Gmail) でも利用できるけど、他のやり方もあるようだったものの、最初はよくわからなかった。 なので、とりあえず ユーザーアカウントに関して調べたことを書いておく。認識が合っているかはわからない。 実際には Cloud IAM と絡めて使うことになるけど、いったんそこには触れない。

ちなみに、GCP は Google Cloud というブランドに包括されていたらしいけど、今どういう感じになっているのかわかってない。

• Official Google Cloud Blog: Introducing Google Cloud

一応 Google Cloud のダッシュボードの左上の表記は、現状「Google Cloud Platform」となっているが、Compute Engine などの一通りのサービスはドキュメント等では Google Cloud のサービス、という感じのように見受けられる。GCP というのがどの部分を指すものなのかちょっとわからなくなったけど Google Cloud のサービスを動かしたり管理する場所が Google Cloud Platform という感じなのかもしれない、と勝手に思っている。

ただ、最近の Google Cloud の書籍を見ると、GCP は旧称みたいになっているのも見受けられるので、とりあえず、ここでは Google Cloud とする。