自由帳

とりとめのない学習メモです。主に Web サービスのシステム基盤や運用に関することを書いています

Apache Spark

Apache Spark のクラスターを Standalone Mode で動かしてみる

はじめに Apache Spark のクラスターモードを動かしてみたく、 Standalone Mode で動かしてみた。

macOS で PySpark を試す

はじめに PySpark がどんなものかまずはざっくり把握したく、macOS で触ってみたかったのでやってみた。

Apache Spark のクラスターモードと YARN で動く際の概要についてちょっと調べたメモ書き

はじめに Spark を Hadoop の基盤で動かしてみて、そもそもどういう仕組みで動いているんだろうか、と気になったので調べたことのメモ。 spark.apache.org spark.apache.org