Какой сервер нужен?

Question

[Dark_Dante]

Здравствуйте. Есть интернет-магазин. От поставщиков выводится порядка 4 миллионов позиций. Товары к сожалению без описаний, характеристик и фото. Есть возможность от поставщиков получить эти данные. Так как позиций много, данных еще больше. Надо где то эти данные хранить и как то обрабатывать.
Пока в мыслях купить старенький сервачок, поставить его в офисе, чтобы при обращении к карточке товара этот сервачок необходимые данные обрабатывал и отдавал.
К сожалению, я в серверном железе не разбираюсь вообще.
Какой сервак мне нужен? Как правильно выбрать сервер для моих целей?

Comments

[hime2]

Старый сервак "б/у", может вы просто мне отдадите деньги ? Все равно потратите зря.
Лучше снять vps где-то

Answer 1

[АртемЪ]

Для начала надо определиться с объемом данных, в каком формате вы будете их хранить, что подразумеваете под обработкой, и насколько быстро он должен отдавать.

Comments

[Dark_Dante]

Объем данных по грубым прикидкам 50гб. В реале будет в полтора-два раза больше. Буду хранить в БД (скорее всего MySQL) Под обработкой подразумевается выбор необходимых данных из БД, преобразование их в удобный формат (допустим JSON) и выдача этих данных запросившей стороне (сайту). Насколько быстро - ну чтобы пользователю было удобно. Думаю не дольше 2-3 сек на запрос

[hime2]

Dark_Dante: смешно, прикидываете что такое 2 сек на запрос?
Вы не только в железе не смыслете, но и в целом что как работает.

[Dark_Dante]

hime2: Если бы смыслил, с не спрашивал бы. Логично?

Answer 2

[Пума Тайланд]

большой
я бы взял от 32 гигов оперативы
можно попробовать с малого и потом нарастить, если не разберетесь добро пожаловать к нам на приватный хостинг

Answer 3

[DrunkMaster]

Иногда обычный ПК ставят и используют как сервер, надёжность ниже чем у профессионального железа и скорость но нормально работает всё. Ещё от канала зависит, если трафик большой канала офисного не хватить может. Арендуйте лучше сервер любой где диска хватит гуглите VPS, VDS за 500-1500 в месяц нормально будет для начала

Comments

[Dark_Dante]

Гуглил... Что то как то не очень вкусно получается. Старый сервак на авито можно взять за 5-10тыс руб. Единоразовые вложения можно сказать. Здесь же хостеру придется каждый месяц отстегивать энную сумму денег. Думаю канала поначалу хватит. У меня сейчас и 100 уников в день не насчитывается, данных на самом деле не так много, максимум 500 кб на запрос + картинка с изображением товара.

[АртемЪ]

Dark_Dante: Ну вы же хостеру не просто так платить то будете?
Во первых канал - что дома, что у хостера его оплачивать придется.
Во вторых электроэнергия, хороший сервак вполне способен кушать в районе 150-200ватт, а это уже 200-500рублей в месяц.

Ну и самое главное - вы взяли сервак в аренду, поняли что он вас не устраивает, надо мощнее, отказались от этого и взяли другой. Ничего не теряете.
А если купите железо - от него еще надо будет постараться избавиться.

Поэтому пока нагрузка четко не известна, лучше арендовать.
А уж потом все хорошо подсчитав и взвесив можно и купить.

[DrunkMaster]

Dark_Dante: Да вы через месяц поняли что сервер не справляется или избыточен - взяли другой, так затраты 1000 а так 10 тыс. уже потратили, к тому же у арендного если что сломается - бесплатно заменят

[Dark_Dante]

АртемЪ: DrunkMaster: А если зайти с другой стороны. Беру сервак за 5 тыс руб старый. Пока магазин взлетит, пока на него начнут люди ходить нормально, полгода-год точно пройдет. Если к тому времени мой старичок не будет справляться с нагрузкой, то арендую vps/vds и иже с ними. К тому же если будет такая нагрузка, что сервак справляться не будет, то значит и конверсия будет приличная, и прибыль какая никакая будет, будет на что выделенный сервер арендовать. Что если с этой стороны на проблему посмотреть?
Вообще что надо чтобы у такого старенького сервака было? Какой проц, сколько памяти? (ну по диску тут более менее понятно)

[DrunkMaster]

Dark_Dante: Да любой проц у меня Celeron 1.2 был сервак и памяти оперативной 1 Гб был и хватало

[Dark_Dante]

DrunkMaster: Такой имеет смысл брать? https://www.avito.ru/voronezh/nastolnye_kompyutery...

[DrunkMaster]

Dark_Dante: да в целом подходит

[hime2]

сервак свой нужен, когда у вас нереальный траффик.
Держать в офисе, это ад! Они так шумят.
Как и сказано надо платить за интернет, но это не все.
Обычный интернет работает так, скорость отдачи 20% скорость загрузки 80%,
В ЦОДах на оборот, там скорость отдачи больше. Эл. где-то от 500р мес.
+ обслуживание техническое, программное. Дальше, безопасность, держать сервак в офисе нельзя, к нему можно подключится, подменить код и все. Все ваши клиенты будут платить не вам, а кому-то.. И можно еще 100 причин написать почему нельзя сервак хранить в таких местах.

[Dark_Dante]

hime2: У меня нет возможности оплачивать VDS/VPS в настоящий момент. Ну не приносит магазин 1500 в месяц на оплату хостинга. И не принесет, если нормальной карточки товара с характеристиками товара не будет. Получается замкнутый круг =) Денег на сервер нет=>данные хранить негде=>нет данных=>нет карточки товара=>нет дохода=>goto пункт 1

[hime2]

Dark_Dante: Открывая магазин, надо иметь минимум 1 миллион.
Вам тогда нечего делать там, если у вас даже 1000 рублей нет

[hime2]

Dark_Dante: можно загрузить только основные 10000 товаров, потом когда деньги появятся купить нормальный vps и загрузить все.
vps 250-300р мес пойдет. Ну или вк. А честно говоря, не имея денег или знаний, вас просто раздавят гиганты

Answer 4

[hime2]

С начало надо смотреть на ур. расходов памяти, загрузки итд.. а потом уже думать.
Ваши слова ничего не дают.
А так проц. xeon самый дохленький с 4я ядрами пойдет.
4-8гб озу.
ssd в raid + hdd тоже в райде.
Должно хватить. То что будет у вас 4 мил. товаров, это ничего не значит, все зависит сколько запросов в сек, подключений.

Comments

[Dark_Dante]

Так как узнать этот уровень? Методом перебора? Взять попробовать, не подойдет, брать мощнее? Или как? Сколько ресурсов займет обращение к MySQL с 4-мя миллионами записей?

[Кирилл]

Dark_Dante: нисколько не займет, у вас же не OLAP, считать вы ничего не будете, если не совсем криво написан сам "интернет-магазин", или что там у вас за данными в БД ходит, то вам до всех этих "зеонов" и "ссд" фиолетово, сходите в "эльдорадо" и купите что подешевле ;)

[Dark_Dante]

Кирилл: скрипт на php за данными ходит - я пхпшник-говнокодер:). Магазин сейчас крутится на обычном хотсинге он спайсвеба. Предложения по товарам мне отдает поставщик через веб-сервисы. Но он отдает только наименование товара, цену, остаток по складу. Люди приходят, но им надо соотвественно фоточки посмотреть, описание почитать, характеристики сравнить. У поставщика вся эта информация есть, ее можно получить. Но только всю и сразу а не по отдельному товару. Я рассчитывал сделать так: покупаю сервер. Перегоняю инфу по товарам в MySQL или др базу данных. На серваке будет крутится скрипт, который по запросу например "Флешка кингстон 8гб" выберет из базы информацию по этой флешке и отдаст ее. Скрипт магазина будет обращаться к серверу по... да хотя бы через те же веб-сервисы.
Реально это сделать? И какие мощности нужны?
Сейчас вот на виртуальной машине с БД играюсь, на таблице с 2м позиций, если позиции под индексами, ответ занимает 0.2 секунды

[Кирилл]

Dark_Dante: храните данные там же где и ваш интернет-магазин, зачем куда-то еще ходить, просто иногда "синкайте" данные. Данных (помимо фоточек) не много, так что вряд ли вам нужно что-то покупать

[Dark_Dante]

Кирилл: Данных много. Одна бд по грубым прикидкам будет 50гб занимать. Хостинг столько места не предоставляет. А еще же и изображения где то надо хранить

[Кирилл]

Dark_Dante: дайте ему (хостеру) больше денег или другого возьмите где есть + 50 гб

[hime2]

Dark_Dante: идете в панель у хостера и смотрите.
Если нету, то идете к нормальному и снимаете vps самый дешевый.
Там снова в панель, статистика или как-то там. После того все будет понятно.
Если нагрузка преобладает в памяти, то больше памяти в серваке должно быть, если цп, то проц. помощнее или еще один воткнуть итд.
А по своему опыту говорю что все упрется в файловую подсистему, потом в озу, ну и в конец цп, то если выжимать из сервака все. У меня 2 сервака, которые балансируются. каждый по 350к, до того, как цены поднялись в 2 раза.
Обслуживание, пока что ничего не ломалось. В ЦОДе selectel сидят и так, за аренду (что бы разместить плачу 2*2200 = 4400р + 1гигабитный канал 50000р + 300ВА * 3 = 1500р + Порт локальной сети 1 Гбит/с 250 р + Дополнительные IPv4-адреса: 13 шт (/28 подсеть) 720р ну вот как-то так.
В вашем случаи, затраты ограничатся серваком за ... + хранение около 3000р
Магазин на хостиге, вы тогда точно ничего не продадите. Вы либо забиваете, либо ищите деньги, это бизнес, вложения всегда должны быть даже в самый маленький.

[hime2]

Ответ, зачем 1 гигабит. 200мбит не хватило, как ни как отдавать и принимать надо много. Серваки жрут по 700w, порт нужен, что бы балансировать сеть, маски понятно дело для чего.

[hime2]

Так что не страдайте хренью и не отнимайте время. Будет очередной говно магазин, возьмите еще opencart вообще супер будет.

[hime2]

Dark_Dante: и кстати о бд, вы понимаете что такое 50гб данных?
У вас должно быть за миллиард товаров и у каждого по несколько томов описания(шутка). Так что вам надо ну максимум 5гб базы а все остальное это дисковое пространство. Для этих целей прекрасно подойдут фотобанки, фотообменики, яндекс диск и в общем можно много куда залить фотки. Не за что.
И все же вы безнадежны)

[hime2]

Бесят такие люди, когда из себя.. а на деле даже 1000 рублей нет

[Александр Мелеховец]

hime2: напишите об этом статью на хабр

[hime2]

Александр Мелеховец: Зачем?

[hime2]

Александр Мелеховец: я с 2005 занимаюсь интернет-магазинами и могу сказать что в России единицы хороших магазинов. Юлмарт к примеру, что это? помойка по моему, а начали не плохо.Что бы держать свой магазин нужен склад, не буду объяснять зачем, логистика и еще 1000 мелочей которые делают из г.. магазина хороший. Магазины на wp это уже даже не смешно. Немыслимо, когда клиент должен ждать по 2 секунды, привет aliexpress, у них порой бывает, ну и самое главное, если ты не понимаешь что зачем и как, то твоя роль в этом бизнесе денежный мешок. Магазин М.Видео, мой проект

[hime2]

Проектирование магазина "кей", верстка и сборка студии

[Александр Мелеховец]

hime2: чтобы мир проникся вашей болью) Забейте, это война с ветряными мельницами)

Answer 5

[Azazel PW]

Я бы вам посоветовал не вкладываться в полноценный сервер.
Во первых это экономически невыгодно.
Вам нужно будет платить за электроэнергию, за интернет каналы(резервирование) за железяку. Это все обходится в хорошую сумму.

Возьмите себе VPS со средними характеристиками и оплатой по 1000 рублей в месяц.
Хостинг возьмет на себя обязательства по отказоустойчивости и резервированию каналов.

12 тыс за год, дешевле чем 50-100 тыс за сервер+плата за интернет+за электричество.
Пока это все будет у вас на стадии разработки и продвижения вы не получите много трафика. Поэтому в первые полгода - год VPS вас спасет.

Когда вы поймете, что пошел ваш сайт начал набирать обороты и ваш сервер не справляется, у вас появится 2 пути решения.
1. Поставить VPS подороже.
2. Приобрести собственный сервер.

По софту, я бы советовал вам под такие объемы базы выбрать более серьезное решение. К примеру обратите внимание на PostgreSQL, если это объем базы 50Гб у вас указан.
Если база будет маленькой то ставьте MySQL, всегда все можно мигрировать на более серьезные решения.

Comments

[Dark_Dante]

Спасибо. Всерьез задумался, что же все таки делать... 50гб - объем базы. 4 миллиона позиций + таблицы характеристик, сопоставлений. Получается VPS нужен с 100гб диском минимум. (50гб смело уйдет под хранение изображений). Где бы такой найти?

[Александр Мелеховец]

Dark_Dante: 50 гигабайт под фоточки выглядит очень оптимистично. Пускай у каждого товара из 4млн одна фоточка на 100кб - это уже 400гиг.

[Dark_Dante]

Александр Мелеховец: Ну вот и получается что VPS такой найти очень проблематично :) Где все это непотребство хранить то?

[Александр Мелеховец]

Dark_Dante: можно в облачном хранилище типа s3, selectel cloud storage или ovh object storage. Для хранения это получится дешевле, чем аренда сервера с соответствующим размером диска. Раздачи поначалу будет очень мало, так что исходящий трафик много денег не съест.

[Александр Мелеховец]

Dark_Dante: ну а базу уже на вдске.

[hime2]

Александр Мелеховец: человек просто наше время тратит. Он не только не понимает что как работает, он даже не пытался начать. А вот про то где хранить... то тут лучше уже брать свой data server, s3 разорит уже на след. недели, salecectel уже лучше, но все равно ( в данном случаи сервак окупается со стороны вложения) У меня была проблема с нехваткой места, я ее с начала хотел решить покупкой еще одним сервером, в котором 16 3.5" отсека) Потом просто код оптимизировал, пожал по минимуму, воспользовался тем же cdn, что-то просто на площадки заливаю, по типу гугл диск или яндекс и все ок. Так скорость ответа быстрее, нагрузка меньше, да и по затратам не особо много, а самое главное нет головной боли)
Так что я предлагаю забить на этот вопрос.

Answer 6

[Ilya]

ovh.ie/dedicated_servers/HG - сервер BHG-2. Гарантируется работоспособность.

Answer 7

[Алексей]

Во-первых, "поставить в офисе" сразу отметайте, проблемы с доступностью такой базы будут очень большие, нужен очень хороший пинг от морды до базы, а уж если вы ещё и фоточки в базе собираетесь хранить...
Во-вторых, VPS? какой ещё VPS, когда вам надо минимум 8-16 гигов оперативки чтобы просто поднять индексы от ваших позиций в память, иначе просто будете колотить IO, которых на VPS нет, это сказки.
Как итог - вам нужен обычный сервер, но самый дешевый.
https://www.hetzner.de/ot/hosting/produkte_rootser...
Вот минимальный конфиг, 32 гига + на самом деле дадут вам не i7, а ксенон, у хецнера сейчас нет i7 в наличии.
Надо SSD? +10 евро в месяц https://www.hetzner.de/ot/hosting/produkte_rootser...
Надо дешевле? смотрите распродажу https://serverboerse.de/en/index.php?country=OTHER

Comments

[Azazel PW]

При какой нагрузке надо будет 8-16Gb памяти?
Только в цифрах, а не догадки.
Нельзя ли на этапе разработки сделать по эконом вариант? и потом уже мигрировать? Или файловая часть и база данных навсегда привязаны к тому серверу где шла разработка?

[Алексей]

Azazel PW: Это риторический вопрос?))
База данных чуствительна к диску и к памяти, чем меньше одного, тем больше ей требуется второго.
Мы не телепаты, автор не сказал точно какого качества данные и какие он хочет делать выборки. Не знаем какие поля надо выносить в индексы и какого размера эти индексы в итоге получатся. В любом случае считаю минимальным удобным для разработки 8GB памяти.
На этапе разработки можно все держать у себя дома, но автор сказал, что у него уже есть интернет-магазин и пользователи уже ходят.
И мы так и не услышали про бюджет.
Привязки конечно никакой нет, единственное, что важно - сохранить целостность база+файлы.

[Azazel PW]

Алексей: Это не риторический вопрос, откуда взялась цифра 8-16Gb?
Например мне нужно при таком же объеме данных сделать ИМ.
Я отдаю заказ на сервер в технический отдел, и что мне написать.
Ну 8Gb, а может 16Gb RAM мне поставьте в сервак :)

Если вы ищите лучшее решение, а не просто хорошее.
В продакшене нужно 64Gb RAM. Делаем RAM диск и помещаем туда Базу.
А еще лучше делаем фронтэнд+бекэнд.
Фронтэнд выдает контент(картинки+скрипты) и естественно все кешируем, а на бекэнде держим базу в RAM и связываем их 10Gb каналом.
А еще это можно развить дальше, как у более крупных игроков рынка ИМ. :)

Это я к тому, что все можно посчитать, а не опиратся на мнимые 8Гб минимально удобным. На 2Гб ОЗУ он выдержит 1000 пользователей в день.
Просто не будет кеширования сервера, а только кеш браузера и акселератор. :)

[Алексей]

Azazel PW: именно, вы правы во всем, но это пустой разговор, так как мы не знаем, что за выборки там будут, может и 1000 клиентов не выдержит, при поиске по 4м записям перебором.

Answer 8

[jaxel]

Поставить сервак у себя в офисе - это довольно глупая идея. Будут постоянные проблемы с питанием и интернет-каналом. На много выгоднее и надёжнее будет арендовать выделенный сервер. Если у вас новый магазин с маленькой посещалкой, вам за глаза хватит обычного VDS с тарифом вроде такого: VDS Улёт (4 ядра, 4096 Мб, 120 Гб) такого,