Берите проц с большей частотой и количеством ядер:
@Jump, если задача хорошо паралелится, то нужно больше ядер, если нет - больше частота
Берите ОЗУ столько, чтоб все ваши данные в нее влезли целиком + запас на нужды ОС и других процессов, а так же на рост объема данных в будущем. Смотрите, чтоб в сервер в дальнейшем можно было бы увеличить количество памяти, т.е. оставались бы свободные слоты для памяти.
Разместите своп файл ОС на ССД - этим вы сократите время подгрузки данных, в случае их вытеснения из ОЗУ в своп.
Размер кэша параметр вторичный (если не третичный :-) ), но чем больше, тем лучше, конечно.