Каким образом лучше получать данные с сайта?

Question

[oo22maxi]

Приветствую.
Есть сайт, данные на нем меняются довольно часто, могут раз в 1 сек, работает websocket (который появляется после авторизации), сам контент сайта подгружаются/формируется JavaScript'ом.

Наткнулся на phantomjs, почитал, вроде он справится с этой задачей...

Но все же, посоветуйте, каким способом лучше и быстрей получать данные с такого сайта?

upd
Решил phantomjs использовать, осталось разобраться только с ним получше....

Answer 1

[yesworld]

Да, вам нужен Фантом.
Просто в цикле указываете задержку таймаута, на время загрузки сайта и парсите.
Вот накидал вам примерный код:

var webPage = require('webpage');
var page = webPage.create();

page.open('https://example.ru/', function (status) {
    window.setTimeout( function() {
        var content =  page.content ;
        /* Парсите полученный html код динамического сайта  */
        fs.write("./info.log",'Время: ' + new Date().toLocaleString()+' | Value:'+ content +'\n' , 'a');
     
        phantom.exit();
    }, 10000);
});

Answer 2

[Дмитрий Новиков]

Для интерактивных сайтов с динамичной отдачей контента подойдет node.js - но тут придется многое изучить.