dshimizu/blog/alpha

とりとめのないITブログ

2022-05-01から1ヶ月間の記事一覧

Apache Spark のクラスターモードと YARN で動く際の概要についてちょっと調べたメモ書き

はじめに Spark を Hadoop の基盤で動かしてみて、そもそもどういう仕組みで動いているんだろうか、と気になったので調べたことのメモ。 spark.apache.org spark.apache.org

Kafka の管理コマンドで Topic を作成する処理がどうなっているか調べた

はじめに Kafka には多数の管理コマンドのシェルスクリプトが用意されている。 この管理コマンドの中の kafka-topic.sh で Topic を作成するときの動きを調べた。