Есть сервер (виртуальная машина) на Azure. ОС ubuntu 14.04. Одна из задач сервера парсинг нескольких сайтов. Изначально все было хорошо, но около месяца назад стал недоступен один из сайтов (возможно после update или upgrade).
Вот адрес сайта:
utp.sberbank-ast.ru
Сайт рабочий, через браузер открывается, а также нормально парсится с локальной ВМ (на Virtual Box), которая идентична той что на Azure.
Вот логи wget запросов с Azure сервера:
wget -p http://google.com
--2015-03-10 10:31:01-- http://google.com/
Resolving google.com (google.com)... 216.58.208.46, 2a00:1450:4009:80d::200e
Connecting to google.com (google.com)|216.58.208.46|:80... connected.
HTTP request sent, awaiting response... 301 Moved Permanently
Location: http://www.google.com/ [following]
--2015-03-10 10:31:01-- http://www.google.com/
Resolving www.google.com (www.google.com)... 74.125.24.104, 74.125.24.99, 74.125.24.106, ...
Connecting to www.google.com (www.google.com)|74.125.24.104|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: Б─≤google.com/index.htmlБ─≥
[ <=> ] 17,637 --.-K/s in 0.01s
2015-03-10 10:31:01 (1.63 MB/s) - Б─≤google.com/index.htmlБ─≥ saved [17637]
FINISHED --2015-03-10 10:31:01--
Total wall clock time: 0.1s
Downloaded: 1 files, 17K in 0.01s (1.63 MB/s)
wget -p http://utp.sberbank-ast.ru/
--2015-03-10 10:33:10-- http://utp.sberbank-ast.ru/
Resolving utp.sberbank-ast.ru (utp.sberbank-ast.ru)... 193.104.207.121
Connecting to utp.sberbank-ast.ru (utp.sberbank-ast.ru)|193.104.207.121|:80...
К гуглу доступ есть. А к sberbank-ast.ru его нет.
Сначала подумал что мой сервер занесли в черный список. Создал новую ВМ (IP другой и зону выбрал вместо С. Европы В. Азию), проверил - такая же фигня. Возможно админы сайта запретил доступ к нему из-за границы. Помогите определить в чем проблема.
