за последние лет пять стоимость вычислений на cpu заметно подешевели, это факт, да и на gpu тоже дешевели прилично, но не так как хотелось бы.
Сценарий мы обсуждали в контексте сабжа
Начал интересоваться машинным обучением, помогите понять хватит ли Intel Iris Pro graphics 5200 для изучения ML и вычислений?
Планирую делать уклон в E-commerce, возможно также с медицинскими данными работать.
т.е. не указана конкретная нагрузка,.. но я на основе своих экспериментов уже знаю что нейронные сети и обработка данных - это дорого и долго, это сутки и недели вычислений в пустую (реально, вы не можете заранее предугадать результат, только гипотезы и допущения), и поэтому использование изначально ДОРОГИХ облачных вычислений - чистый абсурд.
Я уже назвал, в мире сейчас самое дешевое железо для вычислений - это амазоновские compute машины по спотовым тарифам (т.е. не по требованию), но даже там, есть подводные камни - это сетевой трафик, он даже внутри кластера оплачивается. Селектеловским ценам до них как до луны.
abbaboka, извините, но мне сложно с вами общаться, вы ведете себя как троль
цены на железо тут не причем, я говорю про цены на облачные решения. конкретно сейчас конкретно селектел ничего не говорит про gpu поэтому меня эти решения не интересуют.
p.s. если говорить про cpu, условный 8-ядерный amd-fx vishera можно купить за 4-7т.р. процессор, 3т.р. материнскую плату и по потребностям оперативную память ddr3 где то по 5т.р. за каждые 8гб
Похожую конфигурацию в селектел можно набрать за 4.5т.р. в месяц (смотрел без диска)
Цены выглядят по лучше чем когда я смотрел, т.е. нужно два-три месяца использовать сервис чтобы оплатить стоимость железа (без ecc само собой, мы говорим про учебу и нейронки, там это совершенно не требуется)
Вы не понимаете или не хотите это признавать, что облачные услуги имеют смысл для других задач, где нагрузка не постоянна, например добавление ресурсов к своему сервису в моменты кратковременных пиковых нагрузок. Именно поэтому я говорил о необходимости заказать облако не на месяц а на час или хотя бы сутки. Если же у вашего сервиса нагрузка постоянная - вы как любой правильный человек достаете калькулятор и идете покупаете еще bare metall.
abbaboka, о каком чужом оборудовании вы говорите про майнинг, я говорил про покупку своего для своих вычислений и чтобы оно не простаивало в свободное время пускать его на майнинг (если вы конечно по глупости не сделали его с воздушным охлаждением, но это больше рекомендация как сохранить деньги и нервы).
abbaboka, вы точно не издеваетесь? пост был написан больше года назад, я точно помню я зашел тогда на сайт, покрутил их калькулятор под свои задачи, офигел от получившейся цены и написал сюда ответ.
abbaboka, именно, майнинг не даст заметной выгоды, но позволит в среднем вернуть стоимость затраченной энергии если примерно треть времени вы будете майнить а две трети - заниматься вычислениями. Само собой стоимость железо это вам не вернет (это если вы не будете заниматься спекулятивной торговлей, но это не имеет никакого отношения ни к майнингу ни к сабжу)
Стоимость условного железа на киловат электропотребления примерно 200т.р. (есть где сэкономить но за счет большей амортизации). Для нейронных сетей нужны именно эти порядки сумм на железо
p.s. про конкретику, не нашел у селектел в калькуляторе стоимости на видеокарту и ее характеристики... я надеюсь вы понимаете что сейчас никто в здравом уме большую нагрузку на голом cpu не считает (да бывают очень редкие задачи которые иного не позволяют, но ОЧЕНЬ РЕДКО), gpu на каждую единицу стоимости и обслуживания выдает до 10-кратно быстрее вычисления чем cpu а в идеальной ситуации - в сотни раз.
abbaboka, еще раз, когда стоимость МЕСЯЦА сравнима со стоимостью всего железа, это значит достаточно чтобы задача потребовала вычислений на этот месяц, чтобы не имело смысл заморачиваться с облачными вычислениями.
Вообще то спотовые инстансы амазона пока вне конкуренции, если вам нужны именно вычисления (минимум сетевого трафика). Беда любой аренды - вы оплачиваете эту аренду и деньги уходят в никуда, особенно это обидно когда занимаешься нейронными сетями, ведь затраченное время (а значит ваши деньги) не гарантируют получение результата.
Если вы серьезно желаете заниматься вычислениями, лучше строить свою инфраструктуру, благо готовых предложений полно на рынке, благодаря наличию криптовалют и майнинга, кстати, иногда, позволяет нагружать их не бесполезным делом в моменты простоя (я не говорю про заметную выгоду, она будет крутиться в среднем вокруг 2-3 стоимостей использованной электроэнергии).
1 ядро - в смысле уровень нагрузки (максимальная в вашем случае была бы 800%), конечно приложения размазаны потоками по ядрам процессора, но каждое ядро нагружено на 1/8-ую и в сумме дают 100%.
То что оно не использует все доступные ресурсы - это вопрос исследования, скорее всего запросы не такие простые как вам кажется (т.е. есть блокировки) либо бакэнд (ваш веб сервер или что там использует базу данных) не может нагрузить базу данных запросами, т.е. само не успевает.
Копать настройки nginx, что то в количестве одновременных подключений к серверу.
Пинайте разработчика!
p.s. мне кажется используемые технологии не могут выжать больше, php-frm - это значит на каждый запрос идет запуск php приложения (не обязательно процесса) и этот процесс даже с пустым php файлом занимает время.
mysql и 75мб - я вижу тут некоторую избыточность инструмента, в подавляющем большинстве случаев мне кажется можно было бы бОльшую часть нагрузки перенести на внутренние переменные бакэнд приложения (все зависит от задачи, на сколько это в принципе возможно).
Возможно одновременное изменение бакэнда и фронтэнда таким образом чтобы исключить REST архитектуру и переделать на сокеты (websocket), так как GET/POST запросы (если это не http/2) имеют сильные накладные расходы на установку соединения, если один клиент - много запросов в секунду, то это оправдано.
nomta, единственный профит от ssr - низкие требования к пользовательскому железу, т.е. там вообще может не быть поддержки javascript (собственно интернет с этого и начинался), во всем остальном это одна большая ж...
Фёдор Сарафанов (osabio), не знаю что у вас там получалось
вот два фото, одно сделал из веб-интерфейса ip webcam (выставил бесконечный фокус), другое из opencamera на смартфоне, положив смартфон на край стола.
На веб-интерфейсе есть отдельные настройки для разрешения фото
Ezhyg, само собой нужно смотреть задачи, правда почти наверняка они такие не потому что надо а потому что сделали такими, но это философский вопрос что было первопричиной.
посмотрите там хорошая табличка, даже атомы есть с поддержкой ecc, и это только интели (от $40) https://ark.intel.com/Search/FeatureFilter?product...
выбирайте на любой сокет и смотрите материнки с поддержкой ecc и память ecc.
Яндекс маркет показывает материнки с поддержкой ecc от 4тр.
Вот что самое дешевое показывает - 3.7т.р., и это с поддержкой ddr4.
Двухядерные процессоры с поддержкой ecc на этом сокете, целероны очень дешевы, цены от 4т.р., например это за 5.1 т.р., что-нибудь по новее, или четырехядерные или с частотами до 4GHz цены конечно в 2 раза больше.
Оперативная память 8гб одной планкой примерно 6.4т.р, причем там по фильтру выпадали предложения от 3.5т.р. но это либо глюки либо магазин распродает остатки.
Итого 6.4+5.1+3.7 + корпус+блокпитания+охлаждение еще 2-4 т.р. в зависимости от потребностей (корпус кстати головная боль, не стандартные atx башни варианты бывают такие дорогие что плакать хочется.
Стоимость datacenter лицензий $6к (дешевый stardart как я вижу лимитирован 2 виртуалками) на каждые 16 ядер (у вас 44), т.е. чтобы запустить ваши 33 машины вам надо заплатить за лицензию только операционной системы ~ $17к
Машина, терабайт оперативки, за это приходится переплачивать огого, поэтому не аргумент, но даже в этом случае цена на такое железо примерно $28к
т.е. треть стоимости железа - это лицензия только на операционку! я не помню точно, но не нужно ли потом еще и за винду в виртуалках платить?
логично что лучше ставить что то подешевле, типа linux
Интересно, в случае такой ценовой политики, разве виртуальные машины (количество которых ограничено этой ценой) не перестают быть экономией на ресурсах? Т.е. вместо 14-ти виртуалок установить 14 физических машин, может быть не самые топовые по конфигурации, с не серверной операционной системой (да кто то посчитает это извратом, но деньги!?).
Упаковка виртуальных машин - это главный способ сэкономить ресурсы (электроэнергию) и деньги на эти компьютеры, потому как обычно сервисы не нагружают машины на 100% все время, и до некоторых пор делить один процессор между несколькими сервисами, плюс удобное независимое управление каждой виртуалкой (вместо единого управления в случае когда сервисы запускаются в предела одной машины), но когда затраты на лицензирование превышают стоимость машины, все это становится бессмысленно.
p.s. напоминаю, ecc память уже не аргумент, материнские платы и сама память вполне уже доступные, и миниблейд на базе 2-ядерного не слабого целерона и 8 гигами ddr4 ecc можно собрать за 15т.р.-20т.р.
Сценарий мы обсуждали в контексте сабжат.е. не указана конкретная нагрузка,.. но я на основе своих экспериментов уже знаю что нейронные сети и обработка данных - это дорого и долго, это сутки и недели вычислений в пустую (реально, вы не можете заранее предугадать результат, только гипотезы и допущения), и поэтому использование изначально ДОРОГИХ облачных вычислений - чистый абсурд.
Я уже назвал, в мире сейчас самое дешевое железо для вычислений - это амазоновские compute машины по спотовым тарифам (т.е. не по требованию), но даже там, есть подводные камни - это сетевой трафик, он даже внутри кластера оплачивается. Селектеловским ценам до них как до луны.