Macのローカル環境でSparkのWeb UIをみる方法

何度か調べているので、忘れないようにメモしておく。

AWSとかでEMR使っている場合は、SparkのWebUIはデフォルトで利用出来るようになっているのですが、
ローカル環境で使おうとすると、WebUIのURLは出てくるけど、アクセスすると応答なしになってしまいます。
なので、ローカルで実行する時にはSparkSessionを作成する時に、UIを有効にする設定をしないといけない。

val spark = SparkSession.builder.config("spark.ui.enabled", value = true)

公式ドキュメントを見ると、デフォルトが true になっているけど、上記を指定せずにローカルで実行したら None になっていた。

MacからAWSで作成したWindows8のマシンにリモートデスクトップで接続出来ない

AWSで作ったWindows8のマシンを手に入れたのですが、Macから直接リモートデスクトップで接続しようとすると、
以下の様なエラーが出てきて接続出来なかった。

「接続先のコンピューターのIDを確認できません。」

そのせいで、MacbookPro→Parallels上のWindows7→Windows8見たいな感じで接続しないと使えなかった。
Macから直接使えないと意味ない(Macbook Airから主に使いたいため)と思い、調べてみたら案外あっさり見つかった。

AWSに作ったWindowsマシンに接続する為に使っていたアプリは、

「Microsoft Remote Desktop Connection Client for Mac」

どうやらこれがいけないというか、このアプリだとWindows8側で設定を諸々変更する必要があるらしい。
ちょっと面倒だったのですが、何個か別の記事を読んでみると、どうやら別のアプリを落とすだけでいけるらしい事がわかった。
そのアプリはApple Storeで公開されている「Microsoft Remote Desktop」を使えば問題ない。

早速試してみた。
Apple Storeにいって「Microsoft Remote Desktop」で検索すると、一発で出てきた。
赤いアイコンで目立つ感じ。

早速インストールして接続。
全部英語ですが、そんなに難しい単語は使われていないので、特に問題ないと思います。
※入力した内容を保存するボタンが無いので、ちょっと不安な気持ちになりますが、閉じるボタンを押したタイミングで勝手に保存されるようです。


Windows8側の設定を変える方法として、以下の様な方法があります。
新しくアプリ落とす方が面倒だという方はこちらの方法を試してみてください。
設定を変更することで接続出来ることは確認しました。

1.検索で「gpedit.msc」を入力。
2.下記のようにツリーを辿って、セキュリティを選択。

ローカルコンピューターポリシー
　│
　└ コンピューターの構成
　　 　│
　　　 └ 管理者用テンプレート
　　　　　　│
　　　　　　└ Windowsコンポーネント
　　　　　　　 　│
　　　　　　　 　└ リモート デスクトップ サービス
　　　　　　　　　　　│
　　　　　　　　　　　└ リモート デスクトップ セッションホスト
　　　　　　　　　　　   　│
　　 　　　　　　　　　　　└ セキュリティ ← ここを選択

「リモート(RDP)接続に特定のセキュリティレイヤーの使用を必要とする」を有効にし、セキュリティレイヤーをRDPに変更する

「リモート接続にネットワークレベル認証を使用したユーザー認証を必要とする」を無効にする

以上の設定が終わったら再起動して、再接続してみるとつながった。

Macを指定した時間に起動・スリープ・再起動・システム終了する方法

よる寝る前に結構大きめのファイルをダウンロードしはじめて、そのまま朝までつけっ放しということがよくあったのですが、電気代が勿体無いので設定した時間にシャットダウン出来ないか調べてみたらありました。

・出来る事
設定出来るスケジュールは2つまでで、「起動、スリープ解除」で1つ。「スリープ、再起動、システム終了」で1つと最初から決まっている。
選択出来るスケジューリングは毎日、平日、休日、曜日毎の指定した時間(1分単位)。

・設定方法
1.りんごマーク→システム環境設定→省エネルギーを選択
2.省エネルギーページの一番右下にあるスケジュールボタンを押下
3.やりたい行動にチェックを付けて、曜日と時間を選択すれば完了。

※注意点
シャットダウンとか選んでいる時に、アプリ終了時に「終了しますか？」とか選択肢がある場合のアプリが起動していると、それのせいでシャットダウンしないことがあるので注意が必要。

Macで同一アプリでの画面切り替え

MacはWindowsの様にAlt + Tabでウィンドウ切り替えを行おうとすると、同一アプリケーションで複数ウィンドウ開いている場合に対応出来ない。
Windowsは立ち上がっているウィンドウをAlt + Tabで切り替えられるが、Macはcommand + Tabでアプリケーションを切り替えるようになっている。
アプリケーション内の複数ウィンドウを切り替える場合にはcommand + F1を押す必要がある。
若干遠いので、Option + Tabに設定を変更することにした。

1.リンゴマーク→システム環境設定→キーボードを選択
2.キーボード内のショートカットタブをクリック
3.左側の一覧の中の「キーボード」を選択
4.「次のウィンドウを操作対象にする」の右側のキー入力部分を選択

5.変更したいキーを入力

以上で完了。
とりあえず別アプリのショーットカットとかと競合しないことを祈る。

MacOSのプレビュー機能でアクセス権があるのに開けない（未解決）

Macで画像を大量に開く場合、フォルダ内の全画像を選択してダブルクリックで開くのですが、この作業を続けていると

「ファイル”XXXXXX”を表示するためのアクセス権がないため、開けませんでした。」

と出てくる。
以前から何度か経験している現象だ。

・パーミッションに問題がないにも関わらず、画像が開けない。
・別のアプリを使って画像を開くことは可能。

以上の2点から画像自体に問題はなさそう。
では何が問題なのか？
最初は普通に開けるので、メモリの問題かと思って検証してみた。
以下の1〜4の手順を繰り返し行う。
なお、以下の手順の間はプレビューアプリ自体は起動しっぱなし。

1.200枚くらいの画像をまとめて開く。
2.ウィンドウを閉じる。
3.同じ画像200枚をまとめて開く。
4.ウィンドウを閉じる。

これに関しては問題なかった。
最初に全ての画像を開くのにかかった時間と、
2回目以降に全ての画像を開くのにかかった時間では、明らかに2回目以降の方が早かった。
普通に考えたら最近開いた画像に関してはキャッシュか何かしているんだろうと想像出来る。
では次に毎回違う画像を開いて見たらどうか検証してみた。
以下の1〜4の手順を繰り返し行う。
なお、以下の手順の間はプレビューアプリ自体は起動しっぱなし。

1.200枚くらいの画像をまとめて開く。
2.ウィンドウを閉じる。
3.違う画像200枚をまとめて開く。
4.ウィンドウを閉じる。

結果1912枚の画像を開くことが出来たが、1913枚目からは全て開けなかった。

以降プレビューアプリでは1枚も画像が開けなかった。

アクティビティモニタでメモリの使用量とかを確認してみたが、
画像を大量に開いたからといって、メモリ使用量が増えているわけではなかった。
現在の所、原因は不明だが、プレビューアプリを再起動するとまた問題なく見れるようになる。

普通に考えるとプレビューアプリにキャッシュ出来る画像容量に達したから開けなくなったのかと思ったのですが、アクティビティモニタを見た限りではそうじゃないらしい。

謎。