dshimizu/blog/alpha

とりとめのないITブログ

Tech

OpenTofu 1.6 が GA になったので使ってみた

はじめに Linux Foundation のプロジェクトの1つである OpenTofu が、2024年1月10日に「OpenTofu 1.6.0」をリリースしました。2023年9月にTerraformからフォークしてから約4ヵ月でのリリースとなります。 www.linuxfoundation.org OpenTofu をインストールし…

Debian 11 へ Neovim をインストールして、 dein.vim の plugin manager を使って Go の language server(gopls) を利用できるようにするためのメモ

はじめに Neovim をインストールして、 dein.vim の plugin manager を使って Go の language server(gopls) を利用できるようにするのに結構手間取ったので、設定方法をメモしておきます。

Go の Live Reload を実行してくれる air というツールを試した

はじめに 書籍 詳解Go言語Webアプリケーション開発 を読んでいたら air というLive Reload のツールが登場しました。 github.com 書籍ではハンズオン形式で触ってみただけだったので、もう少し触ってみました。

MFA 有効化時に AWS CLI で AssumeRole を実行する設定

はじめに AWS CLI を使う時に、MFA が設定されている IAM ユーザーのクレデンシャル情報を利用して、他のAWSアカウントにある IAM Role を AssumeRole して使う(Switch Roleを実行する)設定について調べてやったことのメモ書きです。

USENIX カンファレンス 2022 の Amazon DynamoDB の論文を読んで今の DynamoDB のアーキテクチャ周りに関する内容のメモ

はじめに USENIX カンファレンスで公開された Amazon DynamoDB に関する論文を読んでみたので主にアーキテクチャ周りの内容のメモ書きです。 https://www.usenix.org/system/files/atc22-elhemali.pdf

OSRM Frontend, Backend を使って、ローカルでマップを表示されてルート検索をやってみた

はじめに オープンデータの地理情報を作るプロジェクトである OSM(OpenStreetMap) のデータをもとに、ルートの検索を行うためのエンジンである OSRM (Open Source Routing Machine) がどんなものかを浅く理解するために、ちょっと動かしてみた。

SQLite がどんなものかを少し調べながら sqlite3 コマンドでの基本操作を確認してみた

はじめに ISUCON 12 で SQLite が登場してちょっと話題になった*1。 だいぶ月日が経ったけど SQLite をそれほどきちんと触ったことがなかったので、少し調べたり触ってみたりした。 *1:https://isucon.net/archives/56850281.html

Auth0 を使って Authorization Code Flow 認可の仕組みに触れた

はじめに RFC 6749 で定義されている認可フローは 4 つのあるので、そのうちの 1 つである Authorization Code Flow を Auth0 を使って触れた。

Auth0 のチュートリアルをやって Client Credentials Flow の認可の仕組みに触れた

はじめに 認証認可について理解が浅かったので、Auth0 のチュートリアルをやってみた時の備忘。

vim-go をインストールした時に起こったこととやったこと

はじめに Go を触り始めたので vim-go をインストールした時にやったことのメモ。

チーム API で書いた方が良いと思う項目のメモ書き

はじめに チームトポロジー本を読んで、チーム API について知ったので、チーム API でどんなことを書いた方が良いかなというのを考えてみたメモ。 また思いついたら追加削除を更新するかもしれない。

”チームトポロジー 価値あるソフトウェアをすばやく届ける適応型組織設計” を読んだ

はじめに ”チームトポロジー 価値あるソフトウェアをすばやく届ける適応型組織設計” を読んだ。

Python の __main__ やトップレベルコードについてのメモ書き

はじめに Python で出てくる __main__ についてドキュメントを見ていて、「トップレベルコード環境」というものが出てきて、あんまり詳しくわかっていなかったので気になったので調べたことのメモ書きです。

Amazon Cognito ユーザープールを新規作成する際、TOTP を使用する MFA を有効化するものは作成できないらしかった

はじめに AWS CLI で TOTP を使用する MFA を有効化する場合の Cognito ユーザープールを作成しようとするとエラーになった。 どうも現時点では、ユーザープール新規作成時に、TOTP を使用する MFA 必須の状態のものは作成できないらしいかった。その際の対…

macOS で Kafka を動かしてみた

はじめに Kafka を手軽に試せないかな、と思ったら macOS だと Homebrew でインストールできるようだったので試してみた。

Docker コンテナ内で Docker デーモンを起動しようとするとどうなるかを見て、Docker outside of Docker を動かしてみた

はじめに CI を動かす時、CI 側を Docker コンテナで動かしている場合、自分のアプリケーションも Docker コンテナで動かしてビルドする、といった場合に一工夫必要になる。

Apache Spark のクラスターを Standalone Mode で動かしてみる

はじめに Apache Spark のクラスターモードを動かしてみたく、 Standalone Mode で動かしてみた。

macOS で PySpark を試す

はじめに PySpark がどんなものかまずはざっくり把握したく、macOS で触ってみたかったのでやってみた。

Apache Spark のクラスターモードと YARN で動く際の概要についてちょっと調べたメモ書き

はじめに Spark を Hadoop の基盤で動かしてみて、そもそもどういう仕組みで動いているんだろうか、と気になったので調べたことのメモ。 spark.apache.org spark.apache.org

Kafka の管理コマンドで Topic を作成する処理がどうなっているか調べた

はじめに Kafka には多数の管理コマンドのシェルスクリプトが用意されている。 この管理コマンドの中の kafka-topic.sh で Topic を作成するときの動きを調べた。

Hadoop 関連の各コンポーネントや構成を調べつつ、Amazon EMR の全体像がどんな感じになるのかの自分用メモ

はじめに EMR を触ることになったけど Hadoop のこともそれほどわかっていないのにマネージドサービスのものを触ってもよくわからないので調べた自分用のメモ。

Apache Kafka の構成要素とかに関して調べたことの自分用メモ

はじめに Amazon Managed Streaming for Apache Kafka (MSK) を触る必要が出てきたので、Apache Kafka の概要を浅く理解するために調べた自分用メモ。 まだあんまりわかっていないので、誤ったことを書いている可能性が高いので、都度修正する予定。

Google Cloud 向けに Terraform を使うためのローカル環境を準備する

はじめに Google Cloud の環境構築を Terraform で行いたいので、Terraform を実行するにあたってどういう風に設定すれば良いのか調べた。

今更ながら「Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases」 を読んで調べたことのメモ

Auroraのアーキテクチャとその設計上の考慮事項について書かれている論文が 2017 年に公開されている。有名なのでその時読まれた方も多いと思う。私はその時 Aurora を触ってなくて存在を知っていただけだったので今更ながら目を通してみた。 Amazon Aurora:…

Multi-Process Service (MPS) Docker コンテナのサンプルを Amazon EC2 の GPU インスタンス(g4dn.xlarge)で動かしてみた

MPS は 1 つの GPU で複数のプロセスを並列で効率的に実行できるようにするための技術。 EC2 で利用できる GPU インスタンスの安価なものだと搭載されている GPU 数が 1 つしかないので、GPU を使うコンテナの処理を MPS を使って複数実行できないかな、と思…

Go の http パッケージに関するコードを何となく読んでみた時のメモ

Go の http パッケージを使って HTTP Server を作るに当たっていろいろな書き方があるけど、例えば以下のようなコードを書いたとき、登場するの関数が何をしているのかあんまりわかっていなかったので調べた。

開発用に雑な Ubuntu コンテナを作成する

開発用に雑な Ubuntu コンテナを作成する。

IAM ユーザー・グループ・ロール・ポリシーからどの AWS リソースへアクセスしているのか確認する時のコマンドメモ

元ネタは、結構前に流れてきたこちらのツイート。 1/ Hey all! If you were watching #containersfromthecouch earlier today, I mentioned an aws cli command that you can run to get insight into what #AWS resources were accessed from a particular …

PostgreSQL のトラブル時に使うクエリなどのメモ書き

最近 PostgreSQL で動いているシステムに携わるようになって、しばらく MySQL ばかり触っていたので、PostgreSQL の障害調査の時とかに四苦八苦するので、使えそうな SQL とかコマンドの類をメモとして書いておく。

Terraform 0.12 から 0.13 へバージョンアップした

Terraform 0.13 がリリースされて 1 ヶ月ほどたったので、今使っている 0.12 を 0.13 へバージョンアップした。 Upgrading to Terraform v0.13 - Terraform by HashiCorp