原因

因为 TortoiseGit 默认使用的密钥格式不同，Git 使用 OpenSSH 格式，扩展名为 .rsa，而 TortoiseGit 使用 PuTTY 格式，扩展名为 .ppk。
SourceTree 也默认使用的是 PuTTY 格式，可以在工具 -> 选项 -> 一般 -> SSH客户端配置中修改。

解决

在安装 TortoiseGit 引导时选择 OpenSSH 格式

或者是在安装完毕后修改 SSH 客户端到 git ssh.exe