Задать вопрос

Домашний сервер для аналитики и математических вычислений?

Доброго времени.

Имеется огромные базы данных, вес баз данных составляет от 50 ГБ до 1 ТБ, соответственно - данных миллионы. Необходимо проводить различные вычисления и их анализ, к примеру за раз получить 500 миллионов записей и работать с ними (подсчитывать различные данные в зависимости от параметров, записывать обработанные данные и возможно работать ещё и с ними).

Всё это кушает очень много ОЗУ и ресурсов диска (SSD), что на рабочем ПК довольно проблемно (32 ГБ, постоянно занята на 100% и образуется огромный файл подкачки), процессор обычно сильно не нагружен (i9-10900 нагружается максимум на 15%).

Исходя из данных проблем задумался о покупке домашнего сервера о котором думал и ранее для различных файлов, локального web-сервера и git-хранилища, соответственно и под данные вычисления, которые не будут загружать рабочий ПК и в момент обработки данных можно будет спокойно им пользоваться.

Для примера. Работа с базой данных весом 300 ГБ занимает ~трое суток обработки и сохранения данных.

Далее по теме сервера: есть ли смысл в покупке бюджетного Б\У сервера под конкретные задачи? Будет ли это производительнее, чем моя текущая конфигурация? Присматриваюсь к вторичке (ddr3 вместо ddr4, но при этом большой объем 64GB+, рейд из пары SSD), какой нибудь материнке и процессору Xeon с Ali (так как бюджет довольно ограничен).

Хотел бы услышать тех людей, которые занимались подобными сборками, имеет ли это вообще смысл?
Будут ли это производительнее для моих задач?
  • Вопрос задан
  • 694 просмотра
Подписаться 1 Средний 5 комментариев
Ответ пользователя rPman К ответам на вопрос (8)
@rPman
Вопрос номер один - критично ли для твоей задачи наличие ecc памяти? Это определит, можешь ли ты получить ответ с ошибкой? можешь ли ты его проверить?

Вопрос номер два, может ли твоя задача быть оптимизирована использование многопоточности, т.е. сможешь ли ты решить ее с помощью GPU?

Если что современные десктопные процессоры просто замечательные, какой-нибудь intel 12600 и оперативку на 64гб по деньгам будет очень даже нормально, и при этом с гарантией... а новый lga1700 позволит некоторую свободу в апгрейдах (правда зная интель - не долго), хочешь можешь amd ryzen прикупить, чуть дешевле и чуть медленее.

p.s. вопрос номер три 500 миллионов записей обычно влезают в оперативку (хеши и индексы), зачем насиловать базы данных? (это сарказм, в реалиях все от задачи конечно зависит, но когда данных много с вероятностью в 90% нужна агрегация)
Всё это кушает очень много ОЗУ и ресурсов диска (SSD), что на рабочем ПК довольно проблемно (32 ГБ, постоянно занята на 100% и образуется огромный файл подкачки), процессор обычно сильно не нагружен (i9-10900 нагружается максимум на 15%).
скорее всего алгоритм обработки этих данных очень не эффективный, в первую очередь орекомендую решить это проблему а не искать решение в железе, прошли времена, когда апгрейд повышает скорость в несколько раз.
i9-10900 ... 32Гб озу
нормальная у тебя машина, добавить оперативки и радоваться
сервера это не про производительность, это про надежность и многопоточность (бывают задачи, когда много медленных процессоров выгоднее и удобнее чем мало быстрых)
Ответ написан