web_dev
@web_dev

Apache Airflow benchmark for simple frequently DAGs/tasks?

Taurus Здравствуйте, я рассматриваю Apache AIrflow как один из компонентов в своём проекте.
Не могу найти приблизительного бенчмаркинга. Поэтому у меня есть ряд вопросов.
Возьмём к примеру сл машину 8 цпу и 32 гб рам.
И Даг с такими тасками. "curl REST" => "extract content" => "save to DB" => "send email"

- Подходит ли Apache AIrflow для частых задач, которые будут исполняться каждую секунду?
- Сколько параллельно задача сможет исполнять такой компютер в секунду?
- Сколько приблизительно памяти требует такой ДАГ?
- Будет ли Apache AIrflow Хорошо справляться если например 1000 Дагов будет вызываться каждых 2-3 секунды?

Поделитесь опытом. Спасибо!
  • Вопрос задан
  • 15 просмотров
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы