Некорректная работа одного из примеров в поставке Qt. Объясните почему?

Question

[becks]

Разбираю пример downloadmanager из стандартной поставки Qt (examples\network\downloadmanager). Пример демонстрирует, как используя классы QNetworkRequest, QNetworkReply, QNetworkAccessManager можно успешно последовательно скачивать страницы из интернета по списку url. Все в нем понятно и вроде бы все правильно. Но я заметил, что контактовские (vk) страницы не скачиваются, т.е. файл создается пустой.

QNetworkRequest request(url);
    currentDownload = manager.get(request);
    connect(currentDownload, SIGNAL(downloadProgress(qint64,qint64)), SLOT(downloadProgress(qint64,qint64)));
    connect(currentDownload, SIGNAL(finished()), SLOT(downloadFinished()));
    connect(currentDownload, SIGNAL(readyRead()), SLOT(downloadReadyRead()));

Ну и собственно сама запись в файл:

void DownloadManager::downloadReadyRead()
{
    output.write(currentDownload->readAll());
}

Только у vk сигнал readyRead никогда не испускается и запись в файл не происходит.

Интересно было бы разобраться, почему так происходит.

Answer 1

[librarian]

Остальные страницы скачиваются нормально? Если да, то это блокировка со стороны вконтакта. Попробуйте менять юзер агент/IP адрес с которого ходите.

Comments

[becks]

Остальные страницы скачиваются отлично. Контактик из хрома тоже на ура.

Answer 2

[gaelpa]

Посмотрите, например, wiresharkом на сетевой обмен с вк при работе из браузера и из QT приложения. Наверняка там случается какой-нибудь редирект на какой-нибудь https всвязи, например, с отсутствием нужных кук при запросе из qt.

Comments

[becks]

Сегодня вечером обязательно посмотрю. Не могли бы вы тогда на пальцах объяснить почему это мешает (может мешать) «страничке скачаться» и возможно ли это обойти?

[rPman]

Некоторые/многие веб сайты активно противодействуют попыткам их использования отличным от ожидаемого способа (запуск в браузере). и делают они это как минимум проверяя заголовки, отправляемые клиентом (у вас и у браузера они явно отличаются), а так же дополнительными телодвижениями, совершаемыми активным содержимым (javascript или css)… если сервер не видит нужной реакции от клиента он может просто не отдавать информацию или отдавать ее не верную.

В общем (идеальном) случае очень сложно полностью эмулировать поведение браузера, но с другой стороны, идеальный контроль тоже очень сложная задача, вот на грани того — на сколько веб-сервису необходимо бороться с нетрадиционным его использованием на столько сложно будет этот запрет побороть.

[becks]

Поставил дома Wireshark, запустил его, редиректов на https не увидел (ни в Qt, ни в хроме). Опять же может руки кривые, просто запустил Wireshark, открыл страничку в контактике, сохранил ее на комп, выключил мониторинг Wireshark, Ctrl-F https — пусто.

Собственно, есть же другой способ скачать страничку:

QWebView *view = new QWebView();
QEventLoop loop;
QObject::connect(view,SIGNAL(loadFinished(bool)),&loop,SLOT(quit()));

view->load(url);
loop.exec();

QString content = view->page()->mainFrame()->toHtml();

QFile file( filename);
if (!file.open(QIODevice::WriteOnly))
    return;
QTextStream stream(&file);

stream << content;
stream.flush();

delete view;

Его только что проверил, любая страничка отлично загружается. Посему вопрос, а чем этот вариант хуже? Да, он дольше, но тут мы уже имитируем работу браузера, по-честному грузим страничку, только что не отображаем ее и сохраняем html в файл. Такой вариант не очень топорный?