ikll7: "не кажется" — это достойный аргумент?) Люди жалуются на отсутствие портов, которые им не нужны, или нужны, но тогда им не нужен ноутбук. Использовал и прошку 15 года, и эйр 13" и могу сказать, что мне "не кажется" что что-то из них может сравниться в прошкой 16 года.
astrotrain: Смысл в том, чтобы в (почти) каждый момент времени все твои треды были заняты и ждали ответа. Почти, потому что подключение к серверу является блокирующей операцией.
astrotrain: разберись, как работают треды и в чём их отличие от процессов. А ещё почитай про GIL. И пойми, что тебе достаточно 10 тредов, чтобы кроулить всё, что твоей душе угодно. А ещё лучше не плодить велосипеды и написать свой кроулер на Scrapy.
AgentProvocateur: Да, nginx + PostgreSQL. Обычно всё хостится на VPS. Их тысячи (DigitalOcean, vultr, наш Simple Cloud, linode). Один пятибаксовый сервер при хорошем коде и архитектуре БД вполне может держать нагрузку 10+ запросов в секунду (без кэша). С грамотным кэшем увеличивается в разы. Мне удавалось "разогнать" до 170 RPS. Но при таком количестве запросов редко кто останется на 5$ сервере.