Apache Airflow benchmark for simple frequently DAGs/tasks?
Taurus Здравствуйте, я рассматриваю Apache AIrflow как один из компонентов в своём проекте.
Не могу найти приблизительного бенчмаркинга. Поэтому у меня есть ряд вопросов.
Возьмём к примеру сл машину 8 цпу и 32 гб рам.
И Даг с такими тасками. "curl REST" => "extract content" => "save to DB" => "send email"
- Подходит ли Apache AIrflow для частых задач, которые будут исполняться каждую секунду?
- Сколько параллельно задача сможет исполнять такой компютер в секунду?
- Сколько приблизительно памяти требует такой ДАГ?
- Будет ли Apache AIrflow Хорошо справляться если например 1000 Дагов будет вызываться каждых 2-3 секунды?