Собрать все ошибки error в массив и вернуть промис?

Question

[formasters777]

Собрал код из простого примера,
но немного запутался в промисах и axios ,
есть массив с ссылками, axios их перебирает,
те что отвечают я пушу в массив,
но те что не отвечают, ответ от них приходит после работы axios где-то через 30-40 секунд,
они приходят по ошибке error.request.
Сам объект Promise пока не использовал, т.к. сам axios возвращает объект на него схожий.
Каким образом в данном случае можно собрать все эти ошибки в .catch в массиве, например дождаться 10 ошибок, а после уже заходить в следующий .then?
Почитав о промисах, узнал что при использовании fetch, если промис ловит ошибку, тогда он идёт в error, а сам fetch продолжает обрабатывать запросы сам по себе.
Какой из вариантов может подойти:
1. Поставить таймер в catch на 60сек и забыть о проблеме.
2. Попробовать вернуть промис из .catch. Прочитав об error axios, то

error.request — это объект запроса HTTP, сделанного клиентом. Он содержит такую информацию, как метод HTTP, URL-адрес и заголовки, отправленные с запросом. Для Axios это экземпляр XMLHttpRequest при работе в браузере и экземпляр http.ClientRequest при выполнении в Node.js.

Это немного путает, возможно ли это вообще, и ошибки приходят не все сразу, а одна за другой.
Как понимаю браузер не знает сколько придёт этих ссылок.
3. Попробовать прицепить кол-во запросов и полученных ответов, сделать переменную,
а после в .catch сделать событие или счётчик, что пока не придёт нужное кол-во ошибок, не идти в следующий .then.
4. Городить огород с промис .allsettled и менять логику запросов.
5. Сделать обёртку axios.get на верхнем уровне и после цеплять к ней .then, и там уже считать что-то.
6. Не будет ли такого что, после получения одной ошибки в .catch, javascript полезет в следующий .then т.к. там событийный цикл event loop. Или обработать ошибки в then.

let array2 = [];
var i;
var number = 0;

for (i = 0; i < 214; i++) {
  axios.get(`url${i}`)
    .then((res) => {
      const $ = cheerio.load(res.data)
      $(".class").each((index, element) => {
         number++;
         const myData = $(element).find(".class").text().replace(/\s\s+/g, "")
         console.log(`${number}    ${myData}`)
         array2.push(myData);
         writeStream.write(`myData:     ${number}       ${myData}   \n`)
      })
    })
    .catch(function (error) {
      if (error.res) {
        // The request was made and the server responded with a status code
        // that falls out of the range of 2xx
        console.log("error.res")
      } else if (error.request) {
        // The request was made but no response was received
        // `error.request` is an instance of XMLHttpRequest in the browser and an instance of
        // http.ClientRequest in node.js
        console.log("error.request")
      } else {
        // Something happened in setting up the request that triggered an Error
        //console.log('Error', error.message);
        console.log("else")
      }
    }).then(function (resolve,reject) {
                  // code
})
}

Comments

[Сергей Соколов]

Сам объект Promise пока не использовал, т.к. сам axios возвращает объект на него схожий.

Именно настоящий неподдельный сертифицированный обычный Promise и возвращает запрос axios: см. /lib/core/Axios.js строка 115

[Сергей Соколов]

for (i = 0; i < 214; i++) {

vs

например дождаться 10 ошибок, а после уже заходить в следующий .then

Не понятно: хочется запустить 214 запросов, но выйти при достижении порога всего в 10 ошибок?

Или запустить 214 запросов, дождаться выполнения всех – где-то успешных, где-то с ошибкой – и перейти в следующий then() с массивом из 214 результатов? – тогда это Promise.allSettled()

[formasters777]

Рассмотрел этот пример, и у меня возникло несколько вопросов,
Например, когда я делаю по 214 запросов, через 10 сек каждые, у меня в итоге снижается кол-во ошибок, и все страницы загружаются через cache axios?
Какой смысл тогда, сортировать вообще ссылки, разве что битые и не рабочие совсем. Если таким образом я грубо получаю в итоге все данные благодаря cache?
Всё время работал из консоли в VS, но понимаю, т.к. как очистить кеш через axios заголовки не получилось, и строки app.use(nocache()); app.disable('view cache'); также не помогли, то необходимо это в браузере делать? и следить в dev tools - network как идут запросы?
Например, если запрос на 300 ссылок, где 7 ошибок и 293 fulfilled идёт 60 сек, то после нескольких прогонов он равен 7-8 секундам. На эту задержку влияет только сервер на той стороне?
Смогу ли я пропинговать так какой то сайт или свой сервер на допустимое кол-во запросов?
Если цепочка промисов собрана и в конце в последнем .then идёт вывод в консоль результатов results, errors, а resolve только один, допустимо ли сделать такую запись, чтобы вывести логи в консоль и промис вернуть .

}).then(( {results, errors} ) => {
       resolve(console.log(results.length + " " + "results in Total"))
       console.log(errors.length + " " + "errors in Total")
     });

Будет ли правильным например в этом случае обернуть именно axios.get в Promise.allSettled, а return'ом уже выводить данные и этого блока для обработки?
Спасибо.

async function run() {
    const batch = new Array(300)
     .fill()
     .map((_, i) => `url=${i}&`)   // URL запросов
     .map(url => axios.get(url));
   const responses = await Promise.allSettled(batch);
   return responses;
   }

Answer 1

[Сергей Соколов]

Чтобы выполнить все запросы, и после получить массив по итогам, можно использовать метод Promise.allSettled() – передать в него массив промисов запросов Axios, и в следующий then() попадёт массив с результатами:

const batch = new Array(214)
  .fill()
  .map((_, i) => `https://example.com/api/${i}`) // URL запросов
  .map(url => axios.get(url));

Promise.allSettled(batch)
  .then(axiosResults => {
    const results = [];
    const errors = [];

    axiosResults.forEach(({ status, res }) => {
      if (status === 'fullfilled') {
        results.push(res);
      } else if (status === 'rejected') {
        errors.push(res);
      }
    });

    return { results, errors };
  })
  .then(({ results, errors }) => {
    console.log('Вот результаты: %o, а вот ошибки: %o', results, errors);
  });

Comments

[formasters777]

Если я подключил настройку для axios headers

"headers": {
				"Accept": "application/json, text/plain, */*",
				"User-Agent": "Mozilla Firefox: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:53.0) Gecko/20100101 Firefox/53.0",
				"Cache-Control": "no-cache",
				"Pragma": "no-cache",
				"Expires": "0",
				"Accept-Encoding": "gzip, deflate, br"
			},

Мне cache таким образом всё равно не получиться очистить? Или это уже в настройках const app = express() вот этого экспресса делать?

[Сергей Соколов]

formasters777, вообще не понятно, о чём вы.
Про express() в этом вопросе не шло речи. Задавайте новый вопрос.