> Если он упирался бы в чтение с диска, разница между холодным (в первый раз) и прогретым (последующие разы) использованием была бы пренебрежимой.
OS кеширует чтение с диска. И разница первого и второго запуска обычно гигантская.
Почитайте как работает HSTS вообще (и в частности что делает флаг includeSubDomains).
Это у вас (вернее у вашего браузера) не было доступа к сайту по http, а у робота он был потому что роботы не смотрят на HSTS.
Если вам нужна сортировка которая игнорирует небуквы, то так и пишите