А. Понял, похоже. OpenVZ не подразумевает рабочего NAT, поэтому то, что на локалхосте необязательно глядит во внешку. Пора переезжать на KVM.
А если переезжать лень, то:

ssh -A kostett@example.org 'ssh root@localhost -p 2124'

В общем, я как обычно забыл подумать. -A — проброс авторизации.