PhantomJS — как открыть несколько страниц к цикле?

Question

[babbert]

Здравствуйте.

Из-за того что в PhantomJS .open асинхронный, цикл не дожидается ответа и проходит дальше. Есть решения, с setTimeout, но они мне не подходят, из-за фиксированной задержки. У меня так же есть вариант с тем, чтобы запускать скрипт отправка запроса отдельно, и просто ждать его ответа, exec же не асинхронный (надеюсь).

page.open(platform.url.list.replace('{PAGE.NUM}', numPage), function(sList) {
            if(sList === "success") {
                var listResources = page.evaluate(handler.getListResources);
                for(iList in listResources) {
                    page.open(platform.url.list.replace('{RES.ID}', listResources[iList].id), function() {
                        console.log(1);
                        if(sVersions === "success") {
                            var versionsResource = page.evaluate(handler.getVersions);
                            for(iVersion in versionsResource) {
                                listResources[iList].versions = versionsResource[iVersion];
                                console.log(5)
                            }
                        }
                    });
                };
                console.log(JSON.stringify(listResources));
                numPage++;
            } else phantom.exit();
		});

В цикле

for(iList in listResources)

, всё выполняется 1 раз, последний и выводится

console.log(1);

1 раз, хотя там 20 ссылок.

Возможно ли как-то поставить цикл на паузу, до помента пока callback функция не снимер его с паузы и цикл продолжится?

Answer 1

[hzzzzl]

попробуй ...

page.open(platform.url.list.replace('{PAGE.NUM}', numPage), async function(sList) {

и потом

var listResources = await page.evaluate(handler.getListResources);
...
for(iList in listResources) {
await page.open(platform.url.list.replace('{RES.ID}', listResources[iList].id), function() {

что-то изменится?
где-то наверняка можно заставить JS "подождать"

Comments

[babbert]

Там все функций уже асинхронные. Попробовал, синтаксическая ошибка.

[hzzzzl]

а, это именно phantomjs, или просто phantom для node?
с phantom попробовал так забрать заголовки у нескольких страниц в цикле, сработало, через await он ждал каждую страницу и дальше скрипт не шел

const phantom = require('phantom')

links = ['https://toster.ru/q/611072', 'https://toster.ru/q/611071',
  'https://toster.ru/q/611070', 'https://toster.ru/q/611068',
  'http://phantomjs.org/api/webpage/method/open.html'];

titles = [];

(async function () {
  const instance = await phantom.create();
  const page = await instance.createPage();

  for (link of links) {
    const status = await page.open(link);
    const title = await page.property('title');
    titles.push(title)
  }

  console.log(titles)
  await instance.exit();
})();

[babbert]

hzzzzl, Извините, забыл написать, именно phantomjs

[babbert]

hzzzzl, Сейчас попробую всё сделать на phantom для node, я изначально на нём делал, но что-то не срослось.

[babbert]

hzzzzl, помогите с этим, как мне вывести собранный массив

[hzzzzl]

а listResources вообще существует, если его попробовать в строчке 13 перед фором вывести в консоль?
я вообще не очень знаю фантом, просто как-то игрался с ним немного
еще в строке 14 наверняка надо await page.open, иначе до evaluate не успеет дойти открытая страница

и как бы самое очевидное, что до 24 же listResources не дойдет в любом случае, потмоу что он существует только в функции-коллбеке что объявлена в строке 12



что вообще делает handler.getListResources, выдирает все линки из a href или что-то типа того?

[hzzzzl]

ааа вижу, этот listResources не доходит до строчки 17...

сложно так сказать, я бы попробовал вынести этот лист "наружу" например в строчке 9 его объявить listResources = [], и потом в коллбеках присваивать результат к этой "глобальной" переменной.. ну или попробовать в строке 15 .then( versResource => { код функции без изменений } ), может быть тогда пробросится эта переменная дальше

[babbert]

hzzzzl, Спасибо Вам большое! Сделал так:

[hzzzzl]

babbert, ну вот, главное что работает :)
а точно надо тянуть целый headless браузер, я тыкался с фантомом, когда учился скрапить сайты, так там вполне можно обойтись связкой request/cheerio для ноды, выйдет намного быстрее (если не надо взаимодействовать со страницей, а только инфу выдирать из DOM)

https://itnext.io/scraping-data-from-reddit-with-c...

Answer 2

[babbert]

Переходи на puppeteer, пока не поздно. Не встречал в нем проблем, спасибо за совет.
Не наступай на мои грабли и не тартъ время на заброшенный фантом.