Как лучше организовать парсинг с авторизацией?

Задача: Нужно авторизоваться на сайте (post запрос), а потом спарсить страничку с данными (с пагинатором).
Думаю использовать для этого request + cheerio
Вопрос заключается в том как лучше поступить, чтобы не нарваться на callback hell, который уже намечается
Подскажите свои рецепты решения этой проблемы
request.get('auth get url', options, function (error, response, body) {
    if (!error) {
        var $ = cheerio.load(body);

        options.form = {
            admin_user: {
                email: '***',
                password: '***',
                otp_attempt: '***',
                remember_me: 1
            },
            authenticity_token: $('input[name=authenticity_token]').val(),
            utf8: $('input[name=utf8]').val()
        };

        request.post('auth post url', options, function (error, response, body) {
            request.get('parse data url', options, function (error, response, body) {
            
            });
        });

    } else {
        console.log("error: " + error);
    }
});
  • Вопрос задан
  • 636 просмотров
Пригласить эксперта
Ответы на вопрос 1
AlexXYZ
@AlexXYZ
O Keep Clear O
Немного не по технологии, которую вы используете, но я бы советовал это делать почти напрямую в самом браузере через CefSharp. Но это только если вы знаете C#. Фактически вы будете в реале наблюдать загрузку страниц.
Вот так, например, как может выглядеть слив страниц с сайта гостов:

6ea17a7e113c4c0db58f568720aa8294.png
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы