Как получить готовый запрос fetch?

Question

[Jeff_Parker]

Привет!
Возникла проблема использования fetch, при запросе к браузеру я могу не получить данные по причине, что до готовности json сайт может отправить еще один идентичный ответ, который сообщает, что идет подготовка json'а, а также не имеет данных - только пустой массив
Пустой ответ

Ответ с json'ом

Как получить нужный мне ответ?

Answer 1

[Надим]

Jeff_Parker, вот правильный вариант:

(async function() {
	
	var response = { state: "" };
	
	do {
		
		try {
			
			var response = await (await fetch(`https://website/dashboard/entries?_=${currentTime}`, {
				"method": "POST",
				"headers": {
					"accept": "*/*",
					"accept-language": "ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7",
					"content-type": "application/x-www-form-urlencoded; charset=UTF-8",
					"sec-ch-ua": "\" Not A;Brand\";v=\"99\", \"Chromium\";v=\"98\", \"Google Chrome\";v=\"98\"",
					"sec-ch-ua-mobile": "?0",
					"sec-ch-ua-platform": "\"Windows\"",
					"sec-fetch-dest": "empty",
					"sec-fetch-mode": "cors",
					"sec-fetch-site": "same-origin",
					"sellerboard-account-id": ID[1],
					"sellerboard-user-id": "user-id",
					"x-requested-with": "XMLHttpRequest",
					"cookie": `PHPSESSID=${cookiesPHP}; ${cookiesNoPHP}`,
					"Referer": "https://website/dashboard/",
					"Referrer-Policy": "strict-origin-when-cross-origin"               
				},
				"body": `dashboardSessionId=${SESSIONID_param}&viewType=panels&entryType=product&periodStart=${periodStart}&periodEnd=${periodStart}&periodicity=period&sortField=units&sortDirection=desc&page=1&groupByAsin=&groupBy=&rangeStart=${rangeStart}&rangeEnd=${rangeEnd}&rangePeriodicity=month&trendsParameter=sales`
			})).json();
			
			if (response.state != "ready") {
				
				console.log("Данные еще в процессе подготовки, повтор запроса через 1 сек.");
				
				await new Promise(function(s) { setTimeout(s, 1000); });
				
			}
			
		}
		
		catch (err) {
			
			console.error(err);
			console.log("Ошибка выполнения запроса, повтор попытки через 1 сек.");
			
			await new Promise(function(s) { setTimeout(s, 1000); });
			
		}

	} while (response.state != "ready");

	console.log("Данные готовы, вывод ниже:");
	console.dir(response);
	
})();

Comments

[Jeff_Parker]

Уже использовал рекурсию безуспешно. Я все равно получаю тот же ответ, нужно методом fetch отличать пустой ответ

[Надим]

Jeff_Parker, а ты умеешь использовать условные операторы? Если нет, бегом учить:
https://learn.javascript.ru/ifelse

[Jeff_Parker]

Надим Закиров, ой нет, не умею. Добрался до изучения node js, но пропустил операторы сравнения...
Без толку бесконечно пытаться получить верный ответ, когда он, вызываемый моим методом всегда один и тот же

[Надим]

Jeff_Parker, покажи fetch свой полностью, не скриншотом, а сюда кодом вставь.

[Jeff_Parker]

Надим Закиров,

await fetch("https://website/dashboard/entries", {
                      "headers": {
                        "accept": "*/*",
                        "accept-language": "ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7",
                        "content-type": "application/x-www-form-urlencoded; charset=UTF-8",
                        "sec-ch-ua": "\" Not A;Brand\";v=\"99\", \"Chromium\";v=\"98\", \"Google Chrome\";v=\"98\"",
                        "sec-ch-ua-mobile": "?0",
                        "sec-ch-ua-platform": "\"Windows\"",
                        "sec-fetch-dest": "empty",
                        "sec-fetch-mode": "cors",
                        "sec-fetch-site": "same-origin",
                        "sellerboard-account-id": ID[1],
                        "sellerboard-user-id": "user-id",
                        "x-requested-with": "XMLHttpRequest",
                        "cookie": `PHPSESSID=${cookiesPHP}; ${cookiesNoPHP}`,
                        "Referer": 'https://website/dashboard/',
                        "Referrer-Policy": "strict-origin-when-cross-origin",                    
                      },
                      "body": `_=${currentTime}&dashboardSessionId=${SESSIONID_param}&viewType=panels&entryType=product&periodStart=${periodStart}&periodEnd=${periodStart}&periodicity=period&sortField=units&sortDirection=desc&page=1&groupByAsin=&groupBy=&rangeStart=${rangeStart}&rangeEnd=${rangeEnd}&rangePeriodicity=month&trendsParameter=sales`,
                      "method": "POST"
                  }).then(response => response.json())

Пожалуйста, если только это поможет

[Jeff_Parker]

Jeff_Parker, кстати в большинстве своем я параметр state полученного ответа равен cache_empty

[Надим]

Jeff_Parker, вот правильный вариант:

(async function() {
	
	var response = { state: "" };
	
	do {
		
		try {
			
			var response = await (await fetch(`https://website/dashboard/entries?_=${currentTime}`, {
				"method": "POST",
				"headers": {
					"accept": "*/*",
					"accept-language": "ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7",
					"content-type": "application/x-www-form-urlencoded; charset=UTF-8",
					"sec-ch-ua": "\" Not A;Brand\";v=\"99\", \"Chromium\";v=\"98\", \"Google Chrome\";v=\"98\"",
					"sec-ch-ua-mobile": "?0",
					"sec-ch-ua-platform": "\"Windows\"",
					"sec-fetch-dest": "empty",
					"sec-fetch-mode": "cors",
					"sec-fetch-site": "same-origin",
					"sellerboard-account-id": ID[1],
					"sellerboard-user-id": "user-id",
					"x-requested-with": "XMLHttpRequest",
					"cookie": `PHPSESSID=${cookiesPHP}; ${cookiesNoPHP}`,
					"Referer": "https://website/dashboard/",
					"Referrer-Policy": "strict-origin-when-cross-origin"               
				},
				"body": `dashboardSessionId=${SESSIONID_param}&viewType=panels&entryType=product&periodStart=${periodStart}&periodEnd=${periodStart}&periodicity=period&sortField=units&sortDirection=desc&page=1&groupByAsin=&groupBy=&rangeStart=${rangeStart}&rangeEnd=${rangeEnd}&rangePeriodicity=month&trendsParameter=sales`
			})).json();
			
			if (response.state != "ready") {
				
				console.log("Данные еще в процессе подготовки, повтор запроса через 1 сек.");
				
				await new Promise(function(s) { setTimeout(s, 1000); });
				
			}
			
		}
		
		catch (err) {
			
			console.error(err);
			console.log("Ошибка выполнения запроса, повтор попытки через 1 сек.");
			
			await new Promise(function(s) { setTimeout(s, 1000); });
			
		}

	} while (response.state != "ready");

	console.log("Данные готовы, вывод ниже:");
	console.dir(response);
	
})();

[Jeff_Parker]

Надим Закиров,

[Надим]

Jeff_Parker, возможно виновато кеширование, давайте попробуем с антикеш заголовками:

(async function() {
	
	var response = { state: "" };
	
	do {
		
		try {
			
			var response = await (await fetch("https://website/dashboard/entries?anticache="+new Date().getTime(), {
				"method": "POST",
				"headers": {
					"accept": "*/*",
					"accept-language": "ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7",
					"content-type": "application/x-www-form-urlencoded; charset=UTF-8",
					"sec-ch-ua": "\" Not A;Brand\";v=\"99\", \"Chromium\";v=\"98\", \"Google Chrome\";v=\"98\"",
					"sec-ch-ua-mobile": "?0",
					"sec-ch-ua-platform": "\"Windows\"",
					"sec-fetch-dest": "empty",
					"sec-fetch-mode": "cors",
					"sec-fetch-site": "same-origin",
					"sellerboard-account-id": ID[1],
					"sellerboard-user-id": "user-id",
					"x-requested-with": "XMLHttpRequest",
					"cookie": `PHPSESSID=${cookiesPHP}; ${cookiesNoPHP}`,
					"Referer": "https://website/dashboard/",
					"Referrer-Policy": "strict-origin-when-cross-origin",
					"cache-control": "no-cache",
					"pragma": "no-cache"
				},
				"body": `dashboardSessionId=${SESSIONID_param}&viewType=panels&entryType=product&periodStart=${periodStart}&periodEnd=${periodStart}&periodicity=period&sortField=units&sortDirection=desc&page=1&groupByAsin=&groupBy=&rangeStart=${rangeStart}&rangeEnd=${rangeEnd}&rangePeriodicity=month&trendsParameter=sales`
			})).json();
			
			if (response.state != "ready") {
				
				console.dir(response);
				
				console.log("Данные еще в процессе подготовки, повтор запроса через 1 сек.");
				
				await new Promise(function(s) { setTimeout(s, 1000); });
				
			}
			
		}
		
		catch (err) {
			
			console.error(err);
			console.log("Ошибка выполнения запроса, повтор попытки через 1 сек.");
			
			await new Promise(function(s) { setTimeout(s, 1000); });
			
		}

	} while (response.state != "ready");

	console.log("Данные готовы, вывод ниже:");
	console.dir(response);
	
})();

[Jeff_Parker]

Надим Закиров,
Увы, но, кажется, мы что то упускаем

[Надим]

Jeff_Parker, запрос верный, тут проблема на стороне бэка, что одинаковые данные отдает.

[Jeff_Parker]

Надим Закиров, Проблему, к сожалению, это не решает)

[Надим]

Jeff_Parker, если в браузере все работает и приходят нужные данные, то сравните запросы, возможно там в запросах есть какой-то параметр который каждый раз разный, а вы же через ноду отсылайте все одно и то же.

[Надим]

Jeff_Parker, кстати, у вас заголовки кривые. Отсутствует заголовок Content-Length и есть еще несколько неточностей. Короче, в браузере найдите правильно отработавший запрос, выложите сюда исходящие заголовки + выложите то, что есть во вкладке полезная нагрузка. Я вам завтра отпишу как надо, а сейчас я спать.

[Jeff_Parker]

Надим Закиров, прошу прощения за задержку с ответом, пишу с рабочего аккаунта. Я уже сравнивал целиком и полностью заголовки запроса с данными и без. Я не нашел метода решить проблему так, как мне хотелось изначально. Вместо этого я решил проблему следующим образом:
1. Я не говорил раньше, но, если в вручную зайти на нужный аккаунт и выбрать нужный период времени, то каким то чудом этот запрос беспрепятственно получит данные. Возможно данные некоторое время сохраняются в какой-то буферной зоне (тонкостей клиент-серверной архитектуры я еще не успел постигнуть) и запрос нет необходимости отправлять в базу данных, что сокращает время и отторгает необходимость делать preparing ответ
2. Может вы уже догадались, а может зашли на мой аккаунт посмотреть на мои прошлые вопросы - неважно. Дело в том, что я использую puppeteer - бот на основе Chromium. У сервиса из которого я получаю информацию хороший UI, и я смог автоматически делать пункт 1
Мне больше нечего добавить)

[Надим]

Jeff_Parker, очевидно вам тогда надо делать 2 запроса. Первым запросов выбирать время, а только после этого вторым запросом запрашивать данные. Даже более того, там может понадобится и 3 запроса. Просто изучите в консоли все запросы, что отсылаются при выходе на страницу и тоже их повторяйте. Вдруг какой-то из запросов получает токен в куки, а вы этого и не видите.