1. Замените GB на MB в параметрах и измените work_mem, чтобы стало так:
shared_buffers = 128MB
effective_cache_size = 384MB
work_mem = 4MB
maintenance_work_mem = 32MB
Конкретно по ошибке из лога: VACUUM использует
maintenance_work_mem параметр, а он у вас 2GB.
2. Также, по выводу htop видно, что в системе нет свопа. Cоздать своп.