page_adsence

2018年4月25日水曜日

Macのローカル環境でSparkのWeb UIをみる方法

何度か調べているので、忘れないようにメモしておく。

AWSとかでEMR使っている場合は、SparkのWebUIはデフォルトで利用出来るようになっているのですが、
ローカル環境で使おうとすると、WebUIのURLは出てくるけど、アクセスすると応答なしになってしまいます。
なので、ローカルで実行する時にはSparkSessionを作成する時に、UIを有効にする設定をしないといけない。

val spark = SparkSession.builder.config("spark.ui.enabled", value = true)

公式ドキュメントを見ると、デフォルトが true になっているけど、上記を指定せずにローカルで実行したら None になっていた。