0. Не закрывать соединение после каждого запроса (зависит от того как у вас реализованно сейчас и что вы опрашиваете)
1. Использовать HEAD request
2. Использовать потоки (распараллелить)
3. Использовать gevent (с поддержкой python3 всё сложно). Тем не менее оно отлично дружит с requests, а на нём реализовать это не проблема вообще
4. Использовать шикарную библиотеку
requests