Как подобрать компоненты для домашнего сервера?

Question

[Сергей]

Есть некий проект, под него необходим сервер, на котором будут стоять СУБД Mysql, собственно серверная часть проекта (принимает информацию/файлы, записывает/делает выборку из базы данных, отдает информацию обратно). На какие параметры необходимо обратить внимание прежде всего? Я считаю, что главным образом нужно обратить внимание на скорость винчестеров и оперативную память. Прав ли я?
Насколько мощной должна быть конфигурация, чтобы выдерживать нагрузки, скажем 200 - 500 - 1000 одновременных подключений? Прошу прощения сразу за дилетантство, но если собрать очень бюджетный компьютер-сервер за 10-15 тыс. руб, то сколько примерно одновременных подключенных пользователей он сможет обрабатывать? И еще вопрос, стоит ли игра свеч или лучше использовать VPS/VDS?

ОС FreeBSD, серверная часть на Python с последующим (в случае успеха) "переездом" на C++/Qt или C++/Boost.

Answer 1

[Melkij]

Если нет слишком специфичных требований - то самому собирать не вариант. Арендуйте. У своего сервера TCO заметно выше. У домашнего - очень заметно выше, с учётом резерва питания, сети, амортизации (не забудьте посчитать тоже!) и замены выходящих из строя комплектующих.

Как будет тесно - сможете арендовать другую машину.
Начать посоветую с VPS - ресурсы наращивать легко и просто по мере развития проекта.

По поводу нагрузки - само наличие вопроса говорит о том, что даже до сотни rps очень далеко. Иначе вопрос бы не стоял вовсе и было бы само собой разумеющимся, что всё зависит от конкретного проекта, как архитектуру и конкретный код (а ещё и конкретные графики мониторинга увидите, синтетикой корректно не измерить) напишете - только тогда и сможете понять, сколько вам надо ресурсов.

Comments

[Сергей]

Хорошо, допустим для начала VPS, но тут возникает другой вопрос, который не менее важен. Как правильно выбрать площадку? Стоит ли заказывать VPS в России или же лучше заграницей? Можете дать какие-нибудь советы или даже конкретные названия организаций?

[Melkij]

Как вам такая мысль-то пришла? Разумеется не в РФ.
digitalocean нынче в почёте.

Answer 2

[Сергей Петриков]

Очень зависит от оптимизации движка, можно 10К подключений и на дешевой VDSке обработать, если правильно приготовить фронтенд и все что можно закешировать. Возьмите для начала облако у любого хостера, сможете наращивать мощности пока не будет хватать, и тогда ориентировочно поймете какое железо вам нужно на дедик. Что оптимизировать тоже от движка зависит, где-то это iops, где-то количество RAM, где-то процессор, где-то сеть, смотреть надо индивидуально. А чем если не секрет обусловлен выбор именно FreeBSD в качестве ОС, система специфична и требует глубокого тюнинга, у вас же я не вижу, судя по вопросу, соответствующих знаний.

Comments

[Сергей]

В данный момент соответствующих знаний действительно нет, но можно ведь обучиться, я не думаю, что данная система действительно непостижима. Насчет выбора: после прочтения нескольких статей на данную тему, в большинстве предлагалось в качестве серверной ОС либо FreeBSD, либо Debian.

[Сергей Петриков]

Фря отличная ОС, но она специфична, если вы не будете использовать ее специфику, то только усложните себе жизнь. Например, если вам не нужен ZFS, молотилка трафика, тонкий тюнинг ядра или iSCSI то возникает вопрос зачем вам мучаться с некоторыми особенностями, типа обновления и сорсной заточки дистрибутива. Возьмите что-то более популярное CentOS, Debian, Ubuntu server наконец, получите большее комьюнити и ответ на ряд вопросов, которые все равно будут возникать. Каждая ОС имеет свои сильные и слабые стороны и это логично, так вот поддержка веб-ориентированного сервиса не сильная сторона фри, приготовить можно, но усилий надо намного больше.

[Сергей]

@RicoX Спасибо за совет, приму к сведению.

[Игорь Какупшев]

Я считаю, что обе системы - и FreeBSD и Linux достойны внимания. У каждой из них свои сильные и слабые стороны. Спорить о том какая лучше - глупо. Возникает вопрос: лучше для каких задач? Лучше для кого? Я например, с unix-ами познакомился через фряху и сечас она мне просто привычней, и соответственно удобней. Сколько раз я не пробовал перевести свои серваки на линь - в конце концов возвращаюсь обратно к фре (хотя на десктопе сижу исключительно под линем - #!CrunchBang-ом либо убунтой, а когда-то предпочитал opensuse). В большинстве случаев, в пересобирке ядра или мира в той-же FreeBSD просто нет никакой практической необходимости. Даже самое дешевое железо сейчас настолько мощное, что с лихвой покрывает все потребности для нужд мелкого и среднего бизнеса. Поэтому и гнаться за производительностью за счет, например, пересборки ядра, чаще всего, нет надобности. Всё идет к тому, что оперативку будут продавать на развес. А в мощность проца ваша задача, скорее всего, не упрется. Ёмкости жестяков измеряются "мега-тоннами". Раньше админы об этом даже и не мечтали...
--------------------------------
Прочитав некоторые комментари я не понимаю, чего так ругают фряху? В ней можно ставить приложения через pkgng (раньше через pkg) - это избавит от сборки портов либо исходников (считайте его эдаким бинарным пакетным менеджером). А если даже ставить из портов (кстати так могут делать gentoo-шники)? У меня вопрос - вы что, каждый день активно занимаетесь установкой и удалением программ на сервере??? Наверное нет! Один раз поставили - и забыли... Потом по поводу обновления фряхи. В продакшн можно ставить релизные версии фряхи и спокойно обновляться бинарно через freebsd-update. Процедура очень простая и быстрая (если оставить ядро по умолчанию - т. е. Generic). Популярный набор ПО во фряхе присутствует и обновляется также регулярно как и в линуксах. Более того, в свете появления и развития ZFS, фряха стала выглядеть намного выгодней и привлекательней, чем раньше.
--------------------------------
Итого. IMHO я бы предпочел FreeBSD + ZFS + MariaDB (вместо MySQL). Но прежде, сделал бы именно так, как порекомендовал товарищ RicoX - начать с VPS и наблюдать. Так вы вычислите хоть какую-то точку отсчета в плане нагрузки, на которую придется рассчитывать в случае последующего переезда на свое железо.

[Сергей Петриков]

@Gumlokt Все верно, но вот несколько нюансов:
pkgng - не все есть, часть из них старая и не обновляется, еще часть конфликтует с портами, использовать можно но лучше уж все из портов ИМХО

> спокойно обновляться бинарно через freebsd-update
Между ветками не сможете все равно без пересборки мира, да и внутри одной ветки кастомные ядра после каждого такого апдейта нужно пересобирать.

Про ZFS или что-то специфичное я написал сразу, у меня на данный момент в продакшине около 60 фрей, но посоветовать на быстро меняющийся фронтенд ее ну никак не могу, вот вы решили использовать какой-то новый модуль php, через пол года после установки системы, могу в деталях рассказать во что это может вылиться на фре.

>В большинстве случаев, в пересобирке ядра или мира в той-же FreeBSD >просто нет никакой практической необходимости.

Не соглашусь, даже базово вынести из юзермода IPFW (ну плохо он там нагрузку держит), сменить HZ, подключить ng, pf, dummynet, да тот же ZFS, много ситуаций когда проще пересобрать ядро чем приколачивать что-то модулями.

Answer 3

[Семён Воронов]

Вопрос очень специфичный, потому что все зависит конкретно от вашей архитектуры приложения и что не менее важно - от правильности выбора настроек и оптимизации системы. Конкретно рекомендации: использование VDS, VPS очень даже рентабельно. Большинство хостингов смогут обеспечить вас возможностью масштабирования мощностей без каких либо усилий. При нехватке ресурсов можно просто перелезть на более мощную архитектуру. Так же многие хостинги обеспечивают надежность хранения данных по средствам бэкапа (снапшоты или же место на резервном хранилище).
Могу порекомендовать ru.hetzner.com - зарекомендовавший себя хостинг и наверно один из самых популярных.
Не стоит забывать что для домашнего сервера сложно обеспечить должную отказоустойчивость - отключение света, проблемы с интернетом. А так же ежемесячные дополнительные затраты на электричество и широкую стабильную полосу интернет.
По вопросу выбора ОС - конкретно что то рекомендовать не имеет смысла. Вот тут человек ниже отговаривает вас от FreeBSD. Основания?

просто на линуксе все работает быстрее это раз
админиться и ставится в 10 раз легче это да

Складывается впечатление что просто руки не из того место растут. При должном навыке на любой системе все будет отлично работать. Я не пропагандирую FreeBSD, для подобных задач использую Debian. Но система это всего лишь инструмент в руках специалиста, а инструменты выбирают под конкретную задачу. Поэтому выбирайте ту ось, в которая будет лучше отвечать вашим требованиям и проще для администратора который будет ее настраивать и оптимизировать.

Comments

[Сергей Петриков]

--Складывается впечатление что просто руки не из того место растут.
А чего, давайте по лесу на феррари хреначить, а в гонках по треку на уазиках участвовать, этож инструмент. В данном конкретном случае, если нет особой специфики (про которую я сразу спросил) использование фри не целесообразно, как я и писал настроить можно, но требуется больше человеко-часов на доведение того, что в других системах в данном конкретном случае будет из коробки. Поставить фри, ради фри - это стильно, модно, молодежно, а потом встречайте вопросы, как правильно пересобрать ядро, как обновить мир, почему IPFW в юзермоде жрет столько памяти, как мне поставить свежий zend и почему он перестал поддерживать фрю .... Соляра вот для некоторых случаев тоже оправдана, так давайте ее на фронтенды ставить, только потому что можно настроить, хрень вы советуете, держать админа с приличным знанием фри будет как минимум на 30% дороже чем опытного линуксоида, не потому что фри будет лучше, а потому что таких админов меньше. Хотя вам, скорее всего ни разу не видившим фрю в живую, такие советы давать самое то.

[Семён Воронов]

Не надо нервничать. Аргументы приведенные opium-ом бредовые. Или Вы хотите привести аргументы на его заявление что "линукс работает быстрее"?
"Ставится легче и админится" - абсолютная условность. У человека обладающего определенными навыками это не возникнет проблем. Но опять же никто не советовал использовать FreeBSD. Я выбираю для такого рода задач Debian.
>> Хотя вам, скорее всего ни разу не видившим фрю в живую, такие советы давать самое то.
:-) Ок

[Сергей Петриков]

Вы не согласны с тем что установка софта и его обновление на бинарных дистрибутивах выполняется быстрее чем на сорсных? В некоторых условиях линукс работает быстрее, в некоторых фря, очень специфично, тут надо смотреть в каких.
>>У человека обладающего определенными навыками это не возникнет проблем.
Для человека, начинающего обслуживание и изучение системы с нуля проще освоить Linux, из-за большего комьюнити и меньшей необходимости копаться глубоко в кишках системы. Простой пример, для увеличения количества открытых семафоров в ядре, для линукса можно задать значение через sysctl, на фре необходимо править исходники и пересобирать ядро, вы сходу скажете где оно задается в какой файле? А то ситуация, я сам сижу на дебиане, но новичку, задавшему вопрос, давайте поставим фри и пусть он вдоволь с ней насношается перед тем как запустить нужный ему функционал.

[Семён Воронов]

@RicoX Еще раз, где я советовал автору ставить FreeBSD? Я лишь раскритиковал заявление что фря без объективных аргументов медленнее линукса.
То что в линуксе поднять развернуть рабочее окружение намного быстрее и проще - факт неоспоримый. Порог вхождения во FreeBSD значительно выше, но это не значит что нужно как раз новичку выдавать такие заключения. FreeBSD - мощный инструмент, применимый в собой определенной области задач. Это я и хотел донести. У FreeBSD своя зона применения, она заслуживает такое же место среди систем в продакшене как и другой линукс, потому что "проще" и "быстрее" зачастую далеко не главные приоритеты при выборе системы. Скажите гентушникам или слакваревсцам что убунту намного проще и все быстрее ставится и они посмеются в ответ.

[Сергей Петриков]

Именно по-этому в данном конкретном случае, читаем web-сервер под небольшой нагрузкой был совет не использовать фрю, когда будет вопрос про производительный программный роутер - ответ будет противоположный. Я изначально уточнил задачу и нет смысла разводить полемику, для данной конкретной задачи в данных конкретных условиях линукс будет лучше.

[Сергей Петриков]

Опять же найти VPS, адекватно работающую с фрей будет проблемней. На виртуалке, первое что получим это низкую производительности дисковой подсистемы без глубокого тюнинга из-за некоторых особенностей UFS2(тема отдельного треда) даже не смотря на то, что виртио дрова уже, наконец, включили в свежие сборки фри.

Answer 4

[Пума Тайланд]

во первых следует отказаться от фрибсд
просто на линуксе все работает быстрее это раз
админиться и ставится в 10 раз легче это да
вы просто выиграете кучу денег на одном этом
чего смотреть на скорость ссд диска не понятно
мне кажется с вашим детством вы не сможете его перегрузить
чего смотреть на оперативную памяти при её стоимости 1000 рублей за 4 гига
берешь 4 планки по 4 гига и живешь счастливо

при должной оптимизации 1000 юзеров онлайн легко тянутся на пентиуме 3 с 2 гигами памяти

Comments

[Семён Воронов]

Большего бреда не слышал

[Пума Тайланд]

слелайте сравнение производительности перконадб на больших объемах выборки , а нет сперва засеките время за которое вы её поставите на фрибсд.

[Сергей]

0_о фряха работает медленнее? ужас нах. ну наверное дело в руках!?)

[Пума Тайланд]

я вам написал как проверить на практике это 8))
почему по вашему гугл и яндекс не сидят на фрибсд если оно такое хорошее и быстрое то ?

[Сергей]

проблема в кадрах )

[Пума Тайланд]

наверно потому что до сих пор фряха не обзавелась нормальным пакетным менеджером? Наверно потому что если у вас сто серверов то компилить мир с нуля это на полгода работы? Ну и наверно все бы смирились с этим если бы она работала бы быстрее линукса.