На каком облачном сервисе лучше деплоить AI модель?
Добрый день.
Есть несколько AI моделей, реализованных на мощностях Google Colab.
Теперь эти модели хочется разместить в облаке и обращаться к ним из вне через условный REST.
Объем моделей 1-4гб. Нужна видеокарта 16-32 GPU RAM.
Какой облачный сервис лучший из российских?
Какой облачный сервис лучший из иностранных?
Лучший по следующим критериям в порядке убывания - наиболее низкая стоимость, гибкость тарифов и конфигураций, наиболее богатый функционал, простота использования.
Если рекомендуете конкретный сервис, просьба обосновать свой выбор конкретными причинами - почему вы считаете этот сервис лучшим среди конкурентов
Ну у яндекса вроде вполне удобный интерфейс и есть выбор конфигураций с видеокартами от нвиде. Тарификация поминутная отдельно за CPU и отдельно за ОЗУ.
На счёт выгодности и удобства по сравнению с другими не скажу, тк не сравнивал.
Василий Банников, А как это работает, на каждый запрос он будет загружать модель в память и соответственно это не "мгновенный" ответ; или вся видюха уходит в твоё пользование и ни с кем не делится?
Вообще сомнительно что это хоть где-то кроме Google Colab можно поднимать.
Тут и более простые задачи lambdas требуют кардинального переписывания при переходе с AWS на GCP.
А вы говорите - модель.
mayton2019, Google Colab - это своего рода jupyter notebook. Модель построена на самых распространенных питоновских библиотеках, не вижу причин не работать на любом другом облаке при наличии этих библиотек.
freeExec, можно полностью в своё пользование взять в рамках VPS.
Прям в CPU/час тарификация вроде только у serverless containers, и то в них вроде можно гарантированную долю CPU взять
freeExec, короче посмотрел. В рамках VPS можно взять сервер с видеокартой, и там он сразу 100% гарантированного vCPU даёт. Видеокарты разные есть (Tesla V100, Ampere A100, Tesla T4) и можно вплоть до 8 штук взять. Процессоры на выбор разные интелы и amd epyc.
В месяц цена от 300к идёт.
В serverless видеокарт нет.
Ещё есть datasphere - по сути аналог colab. Через поддержку можно к ноутбуку подключить до 200+ ядер, 8 амперов, и почти терабайт озушки.
Василий Банников, Всё это больше выглядит именно на разовое использование обработать данные и получить модель, нежели использовать в предикт.
А за 300к можно наверное самому собрать в кладовку такой экземпляр.
vectorg, а, так вы ищете Serverless with GPU. Такое вряд ли найдётся: под каждый запрос выделение ресурсов, загрузка модели — занимает ощутимое время. Нужно брать на фулл-тайм.
Вот исследование 2020 года – чел искал то же самое. Не нашёл.
Средний
