家のネットワーク内にDNSキャッシュサーバーとSambaサーバー、その他ゴニョゴニョしたものを運用しています。
ただ、そのマシンにSSHで繋ぐときにやたら時間がかかっていましたが、一応繋がるので放置していました。

それが今回、VMのsshd_configを設定していたときに
SSHD_CONFIG(5)を見ていたらUseDNSという設定項目が目に入った。
どうやらデフォルトだと接続元の逆引きを行なっている模様。

LAN内のマシンからのアクセスなのでおそらく逆引きに失敗してるのだろうとあたりをつけて
逆引きしないようにしたところ、接続時間が劇的に改善しました。

Googleで「SSH 遅い」などで調べてみると、同じような内容がいっぱいヒット。
よくあるTipsだったようです。