spark インストール 2回目

半年サボっていた間にバージョンは1.4になっていた。

いろいろ忘れてしまったので、インストールからやり直し。
(とはいっても、Centos7 にコンパイル済みのspark を展開するだけ)
scala は半年前に入れてある。(OpenJDK1.8も)

ここから　https://spark.apache.org/downloads.html
spark-1.4.0-bin-hadoop2.6.tgz
をダウンロードしてきて、展開する。
/usr/local/share/spark-1.4.0-bin-hadoop2.6
ln -s spark-1.4.0-bin-hadoop2.6 spark
としておく。

/etc/profile.d/spark.sh を作成。
export PATH=$PATH:/usr/local/share/spark/sbin:/usr/local/share/spark/bin
(とりあえずbin,sbin のパスを追加するだけ)

pyspark, spark-shell を実行すると

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 1.4.0
      /_/

が表示される。
これで満足。これで「spark 道」の8割は修めたも同然。

bin の中にはsparkR が追加されている。