Подойдет ли backend на python?

Question

[shstkv_a]

Мне нужно разработать веб-приложение со следующей архитектурой:

1. Пользователь заходит на сайт, читает некоторую информацию и после закачивает файл определенного формата на сервер.
2. Сервер читает этот файл (проверяет на соответствие определенные строки).
2.1 Если строки нужные, то происходит выполнение некоторой операции.
2.2 Если строки не нужные – сервер отправляет уведомление клиенту о несоответствии.
2.3 В случае выполнения операции, создается несколько файлов, которые отправляются сервером клиенту.
3. Клиент получает файлы и у него есть возможность скачать текстовые файлы или просмотреть их содержимое на сайте.

В связи с этим у меня вопрос: подойдет ли для веб-приложения backend на python и какой фреймворк для подобной проблемы, что нaзывается "best in practice"? Справится ли этот backend с нагрузкой до 1000 запущенных процессов (операций работы с файлами, обрабатываемых на сервере единовременно)? Слышал про GIL, но не знаю, будут ли из-за него трудности.

Comments

[d'Ivan]

до 1000 запущенных процессов

обалдеть!! Чего мелочиться? Давай тогда сразу мильён!

[shstkv_a]

Everything_is_not_so_bad, Не думаю, что пригодится так много; даже тысяча — многовато.

[Dev-op]

Подойдет ли backend на python? - странный вопрос.
Хотите на Node.js пишите, отлично справляется с большим количеством параллельных I/O операций. Что лучше умеете, то лучше и делать:)

Python подойдет в любом случае, вопрос кто на нем пишет.
Фреймворки используйте FastAPI, asyncio в Python что бы обрабатывать большое количество I/O операций,
multiprocessing есть, так же очереди задач Celery имеются.

Cython так же, можно освободить тут GIL и позволить нескольким потокам выполняться параллельно.

Answer 1

[Михаил Р.]

какой фреймворк для подобной проблемы

Django + DRF/Ninja + Nginx.

Слышал про GIL, но не знаю, будут ли из-за него трудности.

При средних нагрузках - будут, но обходится это относительно не сложно (многопроцессорность или внешние библиотеки). При больших нагрузках Python не используют.

Справится ли этот backend с нагрузкой до 1000 запущенных процессов (операций работы с файлами, обрабатываемых на сервере единовременно)?

Я бы сказал, что проблем не будет, но с одной жирной оговоркой - если Вы сможете написать бэк с верной асинхронной архитектурой, с множеством инстансов, очередями и кэшированием.

Если есть сомнения в Ваших возможностях, то Java или Go справятся с этой задачей лучше.

Но с другой стороны, Python позволит быстро написать MVP, а узкие места потом всегда можно переписать на Go.

Comments

[shstkv_a]

Спасибо! Какую литературу Вы советуете мне почитать по теме, чтобы было структурированное представление о том, что написано в:

бэк с верной асинхронной архитектурой, с множеством инстансов, очередями и кэшированием

? Дело в том, что ни разу подобным не занимался. Спасибо за внимание.

[d'Ivan]

При больших нагрузках Python не используют.

Таки всё ещё используют. Среди них известные и имеющиеся на слуху веб-сайты.

[Михаил Р.]

shstkv_a,

Спасибо! Какую литературу Вы советуете мне почитать по теме, чтобы было структурированное представление о том, что написано в:
бэк с верной асинхронной архитектурой, с множеством инстансов, очередями и кэшированием
? Дело в том, что ни разу подобным не занимался. Спасибо за внимание.

Вначале, необходимо начать с самого Python, мне понравилась книга Марк Лутц изучаем python 6-е издание, затем сам фреймворк, официальное руководство Django tutorial вполне доступно объясняет основные моменты, затем, если у Вас возникают трудности, то пишите здесь новый вопрос и Вам ответят.

[shstkv_a]

Михаил Р., Спасибо Вам большое!

Answer 2

[Сергей Горностаев]

В этой постановке выглядит так, что подойдёт любой язык программирования и любой фреймворк.

Comments

[d'Ivan]

Скорее, с поддержкой асинхронности.

Answer 3

[Михаил Кростелев]

Если цель - только файлики проверять/собирать, я бы взял FastAPI. Причём, если процесс работы с файлами будет синхронный, то и ендпоинты создавать синхронные, библиотека сама их запуститв отдельных потоках. Связка Django + DRF будет сложна для ознакомления новичку, да и много лишнего с собой несёт, чем пользоваться вы не будете.

Опять же смотря что называть сайтом. Если это отдельное frontend приложение, где от вас требуется только API, то да. Если же и пользовательский визуал в зоне вашей ответственности, то Django. Хотя и FastAPI с шаблонами работать умеет.

Comments

[shstkv_a]

Пользовательский минимальный визуал тоже требуется. Спасибо!

[Михаил Р.]

Михаил Кростелев,

Если цель - только файлики проверять/собирать, я бы взял FastAPI.

Связка Django + DRF будет сложна для ознакомления новичку, да и много лишнего с собой несёт, чем пользоваться вы не будете.

Вы забыли упомянуть один момент, shstkv_a придется настраивать все самостоятельно, абсолютно все компоненты фреймворка (исключая роутинг и валидацию) в Fastapi, уверен, что человек без опыта с этим справится на раз-два, особенно учитывая размер документации и комьюнити.