Необходимо сделать парсер блогуна, а именно, на данный момент задача в поиске площадок найти нужную по назаванию домена и узнать цену размещения постового.
Залогиниться на blogun.ru у меня получилось следующим кодом:
var Horseman = require('node-horseman');
var horseman = new Horseman();
horseman
.viewport(3200,1800)
.userAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36')
.open('https://blogun.ru/')
.value('input[name="login"]', '***@mail.ru')
.value('input[name="password"]', '***')
.click('form.shortLoginForm [type="submit"]')
.waitForNextPage(10000)
.url()
.log()
.close();
Однако далее необходимо перейти на страницу с площадками
https://new.blogun.ru/search и это не получается.
Даже просто открыть страницу
https://new.blogun.ru/search не получается, даже если не залогинен
var Horseman = require('node-horseman');
var horseman = new Horseman();
horseman
.viewport(3200,1800)
.userAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36')
.open('https://new.blogun.ru/search')
.close();
Выдает ошибку
DEBUG=horseman node test2.js
horseman using PhantomJS from $PATH +0ms
horseman .setup() creating phantom instance 1 +8ms
horseman .viewport() set 3200 1800 +28ms
horseman phantom created +237ms
horseman phantom version 1.9.8 +30ms
horseman page created +15ms
horseman phantomjs onLoadFinished triggered success NaN +14ms
horseman injected jQuery +30ms
horseman .userAgent() set Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36 +28ms
horseman .open() https://new.blogun.ru/search +1ms
horseman phantomjs onLoadFinished triggered fail 1 +86ms
horseman .close(). +2ms
Unhandled rejection Error: Failed to GET url: https://new.blogun.ru/search
at checkStatus (/root/node_modules/node-horseman/lib/actions.js:78:16)
at PassThroughHandlerContext.finallyHandler (/root/node_modules/bluebird/js/release/finally.js:57:23)
at PassThroughHandlerContext.tryCatcher (/root/node_modules/bluebird/js/release/util.js:16:23)
at Promise._settlePromiseFromHandler (/root/node_modules/bluebird/js/release/promise.js:512:31)
at Promise._settlePromise (/root/node_modules/bluebird/js/release/promise.js:569:18)
at Promise._settlePromise0 (/root/node_modules/bluebird/js/release/promise.js:614:10)
at Promise._settlePromises (/root/node_modules/bluebird/js/release/promise.js:693:18)
at Promise._fulfill (/root/node_modules/bluebird/js/release/promise.js:638:18)
at /root/node_modules/bluebird/js/release/nodeback.js:42:21
at /root/node_modules/node-phantom-simple/node-phantom-simple.js:60:18
at IncomingMessage.<anonymous> (/root/node_modules/node-phantom-simple/node-phantom-simple.js:645:9)
at emitNone (events.js:91:20)
at IncomingMessage.emit (events.js:185:7)
at endReadableNT (_stream_readable.js:974:12)
at _combinedTickCallback (internal/process/next_tick.js:80:11)
at process._tickCallback (internal/process/next_tick.js:104:9)
Хотя через браузер идет переадресация на
https://blogun.ru/login.php
Что это за ошибки? Может может кто помочь?