何度か調べているので、忘れないようにメモしておく。
AWSとかでEMR使っている場合は、SparkのWebUIはデフォルトで利用出来るようになっているのですが、
ローカル環境で使おうとすると、WebUIのURLは出てくるけど、アクセスすると応答なしになってしまいます。
なので、ローカルで実行する時にはSparkSessionを作成する時に、UIを有効にする設定をしないといけない。
val spark = SparkSession.builder.config("spark.ui.enabled", value = true)
公式ドキュメントを見ると、デフォルトが true になっているけど、上記を指定せずにローカルで実行したら None になっていた。