Есть ли альтернатива специализированным облачным ML-хостингам, для развертывания на проде API-сервиса на основе ML-модели?
Допустим я обучил модель (в каком-нибудь Google Colab), и теперь хочу развернуть ее на проде, чтобы через API обращаться к ней со своего сайта.
Яндекс DataSphere, например, предлагает какое-то более-менее понятное облачное решение для решения этой задачи (если не боитесь вывихнуть мозги, разбираясь в этой абракадабре, тем паче что их же родные туториалы из коробки не запускаются, приходится танцевать с бубном и напильником).
Но существует ли в природе что-то еще более понятное и привычное? Ну, может какую-нить там Django запустить, и на ней реализовать API к модели?
Просто я не очень понимаю, будет ли такой вариант использовать возможности GPU-хостинга, и обязательно ли для всего этого нужен GPU?
И вообще, говоря честно, основная причина - это расценки для DataSphere - как по мне - не должен хостинг стоить так дорого - они там даже за облако без GPU дерут три шкуры, на младшем тарифе выходит - дороже чем за дедик, если я правильно посчитал.
Короче, где лучше всего на проде развернуть API с ML-моделью?
Кажется стандартом де факто в мире ml стал гугловский tensorflow c keras (кстати когда то он поддерживал другие ml библиотеки). Именно это обычно используют в облаке.
Tensorflow обычно используют на python но есть реализация для c++
И да, tensorflow может работать на cpu, народ пишет что в этом случае повышаются требования к ram примерно в 3-4 раза чем на gpu (точнее в 2 но еще 2х на запуск, что можно пережить со свопом) и работает при сравнении топового железа где то в 16-32 раз медленнее (распарлеливание на несколько компьютеров не эффективное по умолчанию)
Простой
Сложный
