В
requests при совершении запроса по-умолчанию сходу читаются только HTTP-заголовки ответа, а у тела ответа "ленивая" загрузка, то есть оно не начнет загружаться (и не процесс не останавливается в ожидании) до тех пор, пока не будет прямого обращения к свойствам text или content. Если смотреть только заголовки и не обращаться к телу, то размер HTML-страницы не будет влиять на скорость опроса адреса на доступность.