Вот мой конфиг который заработал:
spoiler[global]
workgroup = WORKGROUP
log file = /var/log/samba/log.%m
max log size = 1000
server role = standalone server
security = user
map to guest = Bad User
[share]
comment = Можно заходить всем
path =/shares/upload
create mask = 0777
directory mask = 0777
available = yes
browseable = yes
public = yes
writeable = yes
[private]
comment = Нужно ввести пароль
path = /shares/usershare
valid users = shareuser
create mask = 0660
directory mask = 0771
available = yes
browseable = yes
writeable = yes
Основное это вместе с security = user использовать map to guest = Bad User если у нас одна из шар с гостевым доступом. Ну и убрал что-то из конфига, что не давало винде запрашивать пароль, что именно не понял, но рабочий конфиг оставлю тут.