Вопрос — ЗАЧЕМ?
Если не привилегированные пользователи <1000, то это Ваш косяк, а если нет, то надо использовать SFTP для таких целей. Пароли по ftp передаются в открытом виде.
В любос случе, вот так:
Уберите из /etc/vsftpd.ftpusers и /etc/vsftpd.user_list юзеров которым надо доступ.
