Я делал такое. С авторизацей. Обычной файл логин- паролей.
Именно socks5.
Я думаю что проблема в конфиге 3proxy.
[previous code...]
users amon:CL:password123
[more previous code...]
#SOCKS5
auth strong
flush
allow amon
maxconn 20
socks -p1080
Тут много инфы:
https://3proxy.ru/howtoe.asp#ACL
Я если честно все по этой странице настроил.