Подскажите как организовать проект если есть база и 1000+ endpoint api ( в каждом endpoint несколько десятков вызовов ) которые надо дёргать и наполнять эту базу.
Некоторые апи дёргать надо редко 1 раз в сутки , некоторые надо каждую секунду выполнять.
Есть которые выполняются по от 30 сек. и выше. Есть которые моментально отдают ответ.
Все api сторонние и повлиять на них нет возможности. Подскажите как лучше организовать проект.
У меня в голове только на каждый api делать свой скрипт и засовывать его в крон.
Но мне кажется эт не очень хорошим решением и соединения с базой будут на каждый скрипт и менеджерить всё это, думается, будет сложно, но как сделать лучше не могу придумать. :(
из такого потока сознания нельзя дать четкого ответа. Нужно понимать что за api, как вы хотите с ними работать, как эти данные будут влиять на вашу систему и многое другое. Но интеграцию к каждому api писать индивидуально, да. Что-то, конечно, сможете переиспользовать
Используйте очереди. Консьюмеры, обрабатывающие сообщения из очереди, будут держать соединение с бд, чего Вы так боитесь. Продюсеры могут вызываться из крона (определённое время запуска), а могут и из отдельного воркера (запуски через малые промежутки времени)
Есть готовые интеграционные системы типа tiid или апачевского них. Там все уже сделано. Либо можно взять брокер очередей типа кафки или рэббита и спокойно написать гору консюмеров продюссеров с переиспользованием кода...и свагеровским описанием клиентов что бы не помереть от бесконечного их описания...и у многих сервисов свагер готовый пошукать или на стороне что бы клиентов нагенерить.
Простой
Сложный
Сложный
