В общем-то, заработало со следующим конфигом:
namei -mo /etc/ssh/authorized_keys/ftp/.ssh/authorized_keys
drwxr-xr-x root root .
drwxr-xr-x root root authorized_keys
drwxr-xr-x ftp ftp ftp
drwx------ ftp ftp .ssh
-rw------- ftp ftp authorized_keys
В конфиге:
Match User ftp
ForceCommand internal-sftp
PasswordAuthentication no
AuthorizedKeysFile /etc/ssh/authorized_keys/ftp/.ssh/authorized_keys
ChrootDirectory /var/www/
PermitTunnel no
AllowAgentForwarding no
AllowTcpForwarding no
В таком варианте запустилось, видимо было что-то с правами.