Есть ли альтернатива специализированным облачным ML-хостингам, для развертывания на проде API-сервиса на основе ML-модели?

Question

[Роми]

Допустим я обучил модель (в каком-нибудь Google Colab), и теперь хочу развернуть ее на проде, чтобы через API обращаться к ней со своего сайта.

Яндекс DataSphere, например, предлагает какое-то более-менее понятное облачное решение для решения этой задачи (если не боитесь вывихнуть мозги, разбираясь в этой абракадабре, тем паче что их же родные туториалы из коробки не запускаются, приходится танцевать с бубном и напильником).

Но существует ли в природе что-то еще более понятное и привычное? Ну, может какую-нить там Django запустить, и на ней реализовать API к модели?

Просто я не очень понимаю, будет ли такой вариант использовать возможности GPU-хостинга, и обязательно ли для всего этого нужен GPU?

И вообще, говоря честно, основная причина - это расценки для DataSphere - как по мне - не должен хостинг стоить так дорого - они там даже за облако без GPU дерут три шкуры, на младшем тарифе выходит - дороже чем за дедик, если я правильно посчитал.

Короче, где лучше всего на проде развернуть API с ML-моделью?

Спасибо.

Answer 1

[rPman]

Кажется стандартом де факто в мире ml стал гугловский tensorflow c keras (кстати когда то он поддерживал другие ml библиотеки). Именно это обычно используют в облаке.

Tensorflow обычно используют на python но есть реализация для c++

И да, tensorflow может работать на cpu, народ пишет что в этом случае повышаются требования к ram примерно в 3-4 раза чем на gpu (точнее в 2 но еще 2х на запуск, что можно пережить со свопом) и работает при сравнении топового железа где то в 16-32 раз медленнее (распарлеливание на несколько компьютеров не эффективное по умолчанию)