git remoteにssh接続するときに秘密鍵を指定する

ssh接続するコマンドを環境変数に指定すればよい。

GIT_SSH_COMMAND="ssh -i /path/to/id_rsa-for-remote -F /dev/null" git ...

... の部分は clone なり push origin branch なりgitサブコマンドを指定する。