Что будет быстрее при парсинге API aiohttp или requests?

Question

[s1zen]

Cамо api: https://api2-page.kakao.com/api/v2/store/today_up/...

Comments

[shurshur]

Смотря как напишешь. Теоретически, aiohttp может хорошо оптимизироваться за счёт асинхронности, если правильно использовать. Но если использовать неправильно и вызывать запросы в aiohttp последовательно, то за счёт более сложной магии с eventloop он потенциально потратит чуть больше миллисиекунд.

Но я бы советовал плясать с другой стороны. В чём задача? Насколько быстро надо получить результат? В целом, если там, допустим, 100 тыс. страниц (я от балды, ничего не утверждаю), то с 0.1 с на страницу выйдет три часа на "скачать всё". Так что если задача первично всё выгрузить и затем только ловить обновления, то может быть проще вообще не заморачиваться. Я неоднократно парсил всякие сайтики, и обычно меня не парило, если это работало часами и даже сутками.