Тема: телеграм бот с ChatGPT, несколько вопросов?

Question

[Egor12347]

у меня во время разработки бота возникло несколько вопросов, ответы на которые давал только ChatGPT, но эти ответы являлись неточными и опровергались мной во время разработки телеграм-бота.

Для начала хочу описать суть проекта: Я написал уже достаточно крупный проект телеграм-бота с ChatGPT | Dalle-3 | Midjourney, в качестве бд я использую PostgreSQL для записи пользователей в бд, а также для отслеживания времени подписки на бота и MongoDB для сохранения истории переписок. Связь с ChatGPT настроена через асинхронные методы Openai, с помощью прокси. Связь с Midjourney настроена через библиотеку requests, сам метод вызывается асинхронно.

У меня возникло несколько вопросов:
- Сколько одновременных запросов от разных пользователей сможет обработать один аккаунт Openai и для ChatGPT и для Dalle-3, и влияет ли прокси на пропускную способность, и целесообразно ли распределять нагрузку между прокси?
- Сколько одновременных запросов генерации изображений сможет обработать один аккаунт Midjourney? (насколько я знаю аккаунт могут забанить за автоматизацию запросов)
- И как настроить балансировщик нагрузки на сервер, когда я размещу бота и его начнут посещать множество пользователей?

Comments

[arse00n]

У миджорни нет официального апи.

[Egor12347]

arse00n, о как)

Answer 1

[Everything_is_bad]

Сколько одновременных запросов от разных пользователей сможет обработать один аккаунт Openai и для ChatGPT и для Dalle-3, и влияет ли прокси на пропускную способность, и целесообразно ли распределять нагрузку между прокси?

Сколько одновременных запросов генерации изображений сможет обработать один аккаунт Midjourney

открывай их доки и читай про лимиты.

И как настроить балансировщик нагрузки на сервер, когда я размещу бота и его начнут посещать множество пользователей?

вот когда появится нагрузка на сервер, которая вызовет проблемы, ты сделаешь профилирование, найдешь узкое место и уже относительно этой информации будешь оптимизировать.

библиотеку requests, сам метод вызывается асинхронно

как ты синхронный requests вызываешь асинхронно? через run_in_executor? если да, зачем так извращаться, надо брать aiohttp или httpx.

зачем тут монго? храни настройки так же в постгрес

ну и правила почитай, ну нужно валить разные вопросы в одну кучу