Если база большая -
pg_upgrade в link mode. В документации шаги вполне описаны. Желательно иметь реплику на всякий случай.
Если база маленькая - pg_dumpall и импортировать в новую версию из дампа. Собственно всё просто: запустить новую базу на отдельном порту, снять дамп, залить дамп, остановить старую базу,, перезапустить новую на нужном порту.
Просто запустить бинарники одной major версии на datadir другой major версии - не получится.
Для обновления в пределах одного сервера нужны бинарники обеих версий СУБД. Инструкцию по установке уже расписал
Alexey Dmitriev не ниже 10.1(на локалке у меня 10.1) или лучше ставить последнюю 12?
10.11 минимум. Нечего тестировать давно закрытые ошибки.