複数のマシンからSSH接続する場合、マシンごとに秘密鍵と公開鍵をつくること。

うーん、あたりまえっちゃ当たり前なんでしょうか、当初は使いまわせると思ってました。

ローカルマシンで秘密鍵を作って、
$ ssh-keygen -t rsa

公開鍵をサーバに転送
$ scp -P SSHポート ~/.ssh/id_rsa.pub hogehoge@サーバIP:~/.ssh/

この作業は、サーバにアクセス権のあるPCから行うと良いと思う。
Ubuntuサーバの.sshディレクトリ内に、id_rsa.pubファイルが保存されているはず。

で、id_rsa.pubの情報をauthorized_keysファイルに追加する。
サーバにsshでアクセスして、

$ cd .ssh
$ cat id_rsa.pub >> authorized_keys

で公開鍵が追加される。
不要になったid_rsa.pubファイルはサーバから削除してOK。

間違って、 cat id_rsa.pub > authorized_keys とやってしまうと、既存の公開鍵が上書きされてしまうので十分な注意が必要。

こういう基本的なことを知らないで「繋がんねぇ!!」とイライラしてしまう。
未熟者はつらい。