Главное действительно не в сервере… Очень важно минимизировать количество обращений к БД, отделить выдачу статики от основного ядра (в данном случаее ядро — (LAN порт, винчестер).
Также основа производительности — максимально быстро отпустить пользователя (тобиш не создавать СМО, не дергать AJAX каждую секунду) —
максимально быстро выдать результат на обращение, иначе утопите и сервер с 192 ядрами и 512 Гб ОП.