Ivan72929, ответ на твой вопрос: у тебя после 193 строки идёт код, который вызывает ошибку и прерывает выполнение js на странице, поэтому timeout и не отрабатывает
Смысла в aiohttp нет, если каждую страницу отдельно загружать. Создавай список тасков, например по 50 страниц и запускай их через asyncio.gather. И потоки не нужны будут
Вечно Крайний, на главный вопрос так и нет ответа. Зачем каждый раз запускать worker из handler.php? worker должен быть запущен просто как отдельный процесс и выполнять свою работу
вот например