Не могу получить ответ на http запрос

Question

[Алексей Солодкий]

Суть проблемы:

wget -T 5 --no-proxy -t 1 www.oyy.ru/
С сервера не могу получить ответ на http запрос.

--2013-03-26 00:44:42-- www.oyy.ru/ Распознаётся www.oyy.ru… 81.176.239.210 Устанавливается соединение с www.oyy.ru|81.176.239.210|:80… соединение установлено. Запрос HTTP послан, ожидается ответ… Ошибка чтения (Время ожидания соединения истекло) в заголовках. Завершение.

Вылитает по таймауту. Также при использовании других программ curl, lynx.

На данный момент такая проблема только с этим сайтом. (раньше замечал похожие проблемы с другими сайтами но после чистки iptables не видно.) День назад проблемы не было. Администрация говорит что не блочит. Перед проблемой немного мучал свою машину. С домашнего компа сайт доступен. В том числе и через wget. Суть в том что и сервер и домашний комп за натом и имеют один внешний ip. iptables пуст.

Интересно что отличные от 200 коды получаются успешно.
# wget -T 5 --no-proxy -t 1 www.oyy.ru/index.php --2013-03-26 00:51:23-- www.oyy.ru/index.php Распознаётся www.oyy.ru… 81.176.239.210 Устанавливается соединение с www.oyy.ru|81.176.239.210|:80… соединение установлено. Запрос HTTP послан, ожидается ответ… 404 Not Found 2013-03-26 00:51:23 ОШИБКА 404: Not Found.

Вопрос: С какой стороны проблема на сервере, или блочит сам сайт. Если сайт то как он может определять сервер если ip на две машины одинаков.

Спасибо.

Answer 1

[gaelpa]

С другими сайтами такой проблемы нет? (гугл там, яндекс, прочие)
Последний раз, когда я наблюдал такие странные симптомы, проблема крылась в MTU на конечной машине, (404 и пр, меньше по размеру).
После уменьшения этого параметра (а точнее TCP MSS на дефолтном маршруте), все заработало.

Comments

[Алексей Солодкий]

нет.

[gaelpa]

Вы всё-таки отпишитесь как решите, интересно, что там было.

[Алексей Солодкий]

Я всё-таки наткнулся на сайт который так-же не отдавал ответ. снизил MTU с 1500 и всё заработало.
Спасибо!

[gaelpa]

Telepathy LevelUp!

Answer 2

[Сергей Харченко]

Попробуйте в /etc/hosts сделать запись для этого сайта, не забудьте потом выполнить sudo /etc/init.d/networking restart

Comments

[dgeliko]

Пардон, это что за бред вы написали? Причем тут редактирование hosts и рестарт сети? У человека resolv хоста проходит прекрасно, это видно по его логам.

Answer 3

[Zerstoren]

Чтоб лучше контролировать процесс, пошлите запрос с помощью telnet.
Если через telnet всё вернется успешно, значит поднимите свой сервачок, который соберет HTTP заголовки и обратитесь из wget к своему веб-серверу (который выдаст список HTTP заголовков).

После, отправьте через telnet такие-же заголовки, что и отправляет wget. Проблема должна всплыть. Химичьте с заголовками и пытайтесь понять что именно не так.

Если сайт такие заголовки захавает успешно, то ждите следующих ответов.

Comments

[vsespb]

curl -vv так же может показать заголовки и что происходит

[Zerstoren]

Не важно, самое главное, провести более контролируемую имитацию запроса.

[Алексей Солодкий]

telnet oyy.ru 80 Trying 81.176.239.210... Connected to oyy.ru. Escape character is '^]'. GET / HTTP/1.0 User-Agent: opera Accept: */* Host: oyy.ru Connection: Keep-Alive Connection closed by foreign host.

Те же заголовки с домашней машины (тот же ip) проходят нормально.

Answer 4

[kasthack]

Возможно, идет блокировка по user-agent. Попробуйте добавить аргумент --user-agent=«Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)»