OS Xでは、秘密鍵を利用する際にパスワードを聞くウィンドウが表示されます。
通常はキーチェーンに保存すれば以降聞かれなくなるのですが、 公開鍵が存在しない場合は毎回聞く仕様になっているようです。
下記コマンドで秘密鍵から公開鍵を生成すると、一度聞かれたのちに 聞かれなくなりました。
cd ~/.ssh ssh-keygen -y -f id_rsa > id_rsa.pub
これでzshでリモートのパスも補完できて快適です。
terminal - Password dialog appears when SSH private key permissions are set to 0600 - Ask Different
