Парсинг — Как получить подкатегории если они подгружаются при помощи js?

Question

[WebEditor]

Добрый день.
Имеем сайт с которого нужно получить все подкатегории(всего категория может иметь 3 уровня подкатегорий):



Подскажите каким способом получить все подкатегории ?

P.S.: в итоге нужно получить многомерный массив.

Answer 1

[KorsaR-ZN]

api.ricardo.ch вам в помощь, SystemService, а из него getCategories. Он доступен без получения ключа.

Если не секрет, а для какой Вам у цели?

Comments

[WebEditor]

можно ли пример?
P>S.: посмотрели здесь https://ws.ricardo.ch/RicardoApi/documentation/ind... метод есть, но как применить ?

[KorsaR-ZN]

@WebEditor Изменились правила, без ключа доступ больше не получить.
Вот дамп категорий в xml - rghost.ru/private/57484655/29275f5b037f35019046e57...

Так зачем они вам?))

[WebEditor]

@KorsaR-ZN в файле только дна строчка
Missing parameter: partnerId.
а категорий и подкатегорий там нет..

[KorsaR-ZN]

@WebEditor Сори, не тот файл. Вот правильный - rghost.ru/private/57538720/ba6d9cbe68ee172f981e4df...

[WebEditor]

@KorsaR-ZN nice, спасибо, а на русском случаем не найдется?

[KorsaR-ZN]

@WebEditor Их нету, только если самим переводить.

[WebEditor]

@KorsaR-ZN уже пишем переводчик

[WebEditor]

@KorsaR-ZN добрый день, у Вас нет случаем базы по транспорту с рикардо? https://auto.ricardo.ch Чтобы можно было транспорт найти...

[KorsaR-ZN]

@WebEditor Не совсем понял, что вам нужно, но все, что есть по транспорту прикрепил ниже...

rghost.ru/private/57790606/41d87fe2bc22519046b33f9...

[KorsaR-ZN]

@WebEditor так, что же Вы там все делаете?))

[WebEditor]

@KorsaR-ZN да сайт сейчас делаю для себя, а на данном сайте самая подходящая база данных оказалась.

А нужно было следующее:

1) данные по автозапчастям (там тоже есть категории и подкатегории) + можно найти по данным запчастей.
https://auto.ricardo.ch/zubehoer/selling/?step=1&u...

i.imgur.com/4wgKkz8.png

Но эти то категории можно получить парсингом.

2) данные по автотранспорту - там можно по по номеру двигателя и иным параметрам найти транспорт(если не ошибаемся) - авто, мото и т.п.

-- i.imgur.com/aA76cLR.png

P.S.: Правильно ли я понимаю - все эти данные можно получить с помощью API key ?

P.P.S.: спасибо за данные

[KorsaR-ZN]

@WebEditor данные, которые вы хотите полчить, я в документации к сожалению не нашёл, всего скорей их не получить, все таки они очень приватны, не каждый бы сервис ими бы просто так раскидывался...

А api key я не думаю, что они Вам выдатут, там только для Германии и Швейцарии, там даже, как покупатель не зарегистрируешь, ну зарегится то зарегишься, но только они код подтверждения наземной почтой высылают

[KorsaR-ZN]

Но попробовать можно запросить, я ссылочку выше оставлял.

[WebEditor]

@KorsaR-ZN спасибо, а регистрацию думаю можно будет через немцев
запросить.

Answer 2

[Евгений Петров]

Поскольку вы не имеете никакого отношения к сайту, а на запрос с чужого домена возвращается 404, то серверное решение для вас ИМХО закрыто.

Клиентское также, поскольку парсить документ с другого домена не получится — политика происхождения не позволит.

Остаётся только прокликать все пункты, которые приводят к загрузке, потом скопировать полученную в итоге структуру (анализатор в браузере) и парсить уже её.
Как вы будете решать задачу с кликами? Например, программа-кликер просто по координатам, но это муторно и непонятно как сделать.

Вам поможет Greasemonkey. Обрабатываем клики по ссылкам в цикле. Можно использовать jQuery синтаксис, проверено на этом сайте.

// ==UserScript==
// @name        test
// @namespace   html
// @description Grabbing categories
// @include     https://www.ricardo.ch/verkaufen/verkaufsformular/schritt1?src=btn_header_verkaufen&SSL=ON
// @version     1
// @grant       none
// ==/UserScript==

$(function () {
	var links = $('#navCatLvl1 a');
	links.each(function () {
		var $link = $(this);

		$link.trigger('click');
		//нашли загруженный контент (Mutation Observer) и поехали в нём по циклу
	});
});

Comments

[Евгений Петров]

@WebEditor пишете обычный скрипт, в котором:

1. Создаем объект (или массив — без разницы). Находим все ссылки, и вызываем событие click на каждой из них, занося в созданный объект все нужные параметры. Загружается контент и добавляется в блок (нужно в коде посмотреть, в какой), на который мы повесим обработчик возникшего Mutation Event.

2. В этом контенте находим все элементы и обходим их, создавая второй уровень вложения в нашем объекте. Если пункт представляет собой ссылку — выполняем ровно те же действия, что и первом пункте (то есть каждую итерацию будет обслуживать одна и та же функция). Если пункт — просто текст, то только заносим параметры в наш объект.

3. Неважно, сколько вложений будет — хоть 50. Алгоритм прост, главное — верно определить параметры для траверса и сниффинга атрибутов элементов, создаваемых в браузере из загружаемого контента.

Просто представьте, что вы пишете скрипт на своей странице, но обработчик кликов, по которым загружается контент — не ваш.
Ну и после окончания работы в консоль выводим полученный объект.

[WebEditor]

@Petroveg по п.3. там все просто - генерируется 4 дива со ссылками, обработать их проблемы не составит, сейчас с массивом определюсь и можно будет завершать.
P.S.: до этого за 1 час часа вручную только две полных категории обработали.

[Евгений Петров]

@WebEditor примерно вот так ловим вставку:

var observer = new MutationObserver(
		function (e) {
			var nodes = e[0].addedNodes;

			for (var i = 0; i < nodes.length; i++) {
				if (nodes[i].nodeType == 1) {
					var elems = $(nodes[i]).find('[data-level]');

					elems.each(function () {
						var $item = $(this);

						console.log($item.data());
					});
					break;
				}
			}
		}
	);

observer.observe(document.querySelector('#childCategories'), {
	childList: true
});

[Евгений Петров]

@WebEditor я наверное уже сплю, потому что сразу в голову не приходит, куда там promise вставить... Просто each() по элементам не пойдёт, само собой — там же асихрон.

[Евгений Петров]

@WebEditor вот код на проход первого уровня (и правда уже устал)

var result = {};

$(function () {
	var links1 = $('#navCatLvl1 a'),
		index = 0,
		observer = new MutationObserver(function (e) {
			var nodes = checkInsertion(e[0].addedNodes);
		});

	observer.observe(document.querySelector('#childCategories'), {
		childList: true
	});

	simulateClick(0);

	function simulateClick (index) {
		result[links1.eq(index).data('catid')] = {
			url: links1.eq(index).data('filter-url'),
			text: links1.eq(index).data('text'),
			sub: {}
		};
		links1.eq(index).trigger('click');
	}

	function checkInsertion (nodes) {
		for (var i = 0; i < nodes.length; i++) {
			if (nodes[i].nodeType == 1) {
				var elems = $(nodes[i]).find('[data-level]');

				elems.each(function () {
					var $item = $(this);

					result[links1.eq(index).data('catid')].sub[$item.data('catid')] = {
						url: $item.eq(index).data('filter-url'),
						text: $item.eq(index).data('text'),
						sub: {}
					}
				});

				index++;
				if (links1.eq(index).length) {
					//simulateClick(index);
				}
			}
		}
	}

	console.log(result);
});

А вот картинка

[WebEditor]

@Petroveg любопытно) но очень большой код получится по вашему методу. Немного проще будет если делать таймаут (settimeout) в 0,5-1 секунды и затем найти в body div(ы) с подкатегориями. Иными словами максимум за 1 секунду подгружается div с подкатегориями, если таковой есть добавляем их массив, если нет идем дальше. чуть позже скрипт выложу.

Answer 3

[_ _]

Загружаем сайт, открываем девелоперскую панель хрома, идем в Network.
Щелкаем на пункте меню - видим запрос. Правой кнопкой на него, Сopy as CURL.
Вставляем в командную строку с установленным CURL. Запускаем. Получаем HTML следующего уровня меню.
Для разбора используем phpQuery, например.
Подбираем параметры запроса, пишем простенький парсер, запускаем - вуаля.

Парсер, написанный на Ruby за 40 минут, которые ушли на то, чтобы подобрать нужные задержки между запросами, чтобы сервер не блокировал: pastebin.com/69yDgMaz
Резальтат работы парсера: https://dl.dropbox.com/s/xq2wg3h13zns9ph/categorie...
Для того, чтобы полностью спарсить дерево категорий, понадобилось 997 запросов.

Comments

[Евгений Петров]

Проблема только в том, что там сотни запросов

[WebEditor]

вот-вот, попробуй сделать пару сотню "вуаля"

[_ _]

@Petroveg @WebEditor сотни запросов - проблема для PHP-скрипта? Или вы подумали, что я вам предлагаю все запросы руками делать? Или может быть вы хотели готовое решение, чтобы голову включать не надо было?

[Евгений Петров]

@AMar4enko а вы попробуйте запросить с другого сервера те адреса:) Потом будете про голову писать.

[Евгений Петров]

@AMar4enko вот адрес запроса по первому же пункту https://www.ricardo.ch/verkaufen/verkaufsformular/...

[Евгений Петров]

@gaussmake я не спец по подделкам. Если можете — то не вопрос, тогда всё упрощается. Впрочем, вариант не будет сильно отличаться от Greasemonkey кроме Mutation Observer

[Евгений Петров]

@gaussmake я не специалист в PHP, так что вы можете быть колоссом в этом вопросе супротив меня:) Я — специалист по фронтенду и без всяких предположений предложил опробованное решение.

Насчёт строенного iframe не понял — что он должен выдавать и когда?