Почему некоторые сайты парсятся без указания www., а не которые нет?

Question

[Bur Ov]

Cтоит задача спарсить текст с сайтов, загружаю сайт через curl, и некоторые сайты не парсятся, если указать так:

https://test.com/

А некоторые наоборот, только так парсятся. Как быть? Все незагруженные сайты откдывать, и потом прогонять их так:

https://www.test.com

Answer 1

[SagePtr]

C www это отдельный поддомен, который отличается от домена. Некоторые его настраивают как алиас и в обоих случаях отдают один и тот же контент. Некоторые - вообще не добавляют, и сайт с www не открывается. А некоторые - ставят редирект, причем по-разному бывает - иногда с поддомена редиректят на домен, а иногда и наоборот.

Answer 2

[DevMan]

потому что надо сказать курлу ходить по редиректам.

Answer 3

[Василий Банников]

Ну вот так настроены эти сайты.
www не является чем-то особенным- это всё ещё часть домена, как m, qna, или career.

Решается это тем, что указывается полный URI, а не часть