Интересный вопрос знатокам парсинга, парсили ли вы гугл тревел?

Question

[SmileRex]

Значит задача: спарсить сайты отелей из списка гугл тревел по назвнию города.

Для перехода по страницам сайта используется кнопка "Далее" которая дёргает js скрипт который возвращает следующую страницу, кнопка не содержит информацию или ссылку для перехода на следующую страницу,

Так вот вопрос, правильно ли я поступил использую вебдрайвер в handless режиме для перехода по всем страницам и сборки current_url или же я что то не понимаю?

Comments

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента. Также обратите внимание на п.3.4

Answer 1

[rPman]

да
два противоположных метода решения задачи парсинга и автоматизации веб приложений:
1. реверсинженеринг кода веб приложения, выявление структуры и порядок вызова запросов к серверу, и их вызов
- много сил на реверсинженеринг, сложная поддержка
+ требует мало ресурсов для работы (считанные килобайты ram, т.е. можно запустить 100500 ботов)
2. запуск браузера или его симулятора и симуляция действий пользователя
+ почти не требует сил на реверсинженеринг, все доступно прямо из браузера и его developer console, простая поддержка
- требует много ресурсов для работы (сотни мегабайт ram на запуск одного инстанса и нагружает cpu)
все остальные методы находятся между этими двумя противоположными.

чтобы кликнуть на кнопку во втором методе требуется 15 секунд на выявление css selector нужного элемента и написание кода document.querySelector('...').click() (это не selenium, а инжект javascript кода на страницу с помощью tempermonkey), да понадобится еще чуть чуть кода на организацию порядка действий, проверку страницы по наличию элементов (например выявить конец пагинации) но это все несоизмеримо проще чем реверсить код сайта чтобы понять как получить куку авторизации из обфусцированного кода (когда владельцы сайтов защищаются от этого) и вычисление таймингов и порядок загрузки элементов страниц (которых может быть несколько) чтобы добраться до нужной... да конечно не все так защищаются, а многие даже с javascript не заморачиваются и фигачат сайты по старинке с server generated страницами, там тогда все тоже не сложно, но для понимания этого исследование провести придется.

Comments

[SmileRex]

Да, задачу решил таким образом, клик по кнопке, получаю ссылку, парсю адреса и так далее до конца страницы.

Хотелось бы знать, есть ли способ обойтись без использования selenium для данной задачи ?

[rPman]

да, один я указал - всю или большую часть роботы проводи в браузере на javscript, который инжекти с помощью того же tempermonkey, браузер буквально запускай как обычно, открывай ссылки и все само дальше

Еще есть вариант (если сайт не против) использовать самописный браузер на готовом движке (например webkit) под любой язык программирования, кода мало, этот способ что то между инжектом кода на страницу и selenium.

Например когда еще работал IE я пользовался штатным компонентом WebBrowser в .net, 2 шевеления мышки в Visdual Studio и браузер готов, из кода на c# полный доступ к dom страницы (некоторые вещи придется делать запуском javаscript, например вызов функций сайта в контексте этого сайта), это все еще работает, если сайты не следят с каких браузеров к ним зашли, но самое главное если собрать приложение под mono то компонент IE подменяется на firefox

[SmileRex]

Очень интересно замечание и элегантное решение, благодарю за обратную связь, побежал писать тест классы для данной реализации и знакомится с селекторами, дай бог тебе здоровья, живи долго и процветай!

[rPman]

Иногда бывает для доступа к элементу требуется несколько итераций, например если dom элемент не имеет четкого идентификатора (например элементы списков/таблиц), ищут верхнеуровневый контейнер, и уже к этому элементу делают querySelector или querySelectorAll

Еще подход, когда владелец сайта постоянно переименовывает наименования классов или даже меняет структуру (прямой поиск по селектору не работает) есть лайфхак, перебирай элементы на странице, запрашивая их видимый прямоугольник getBoundingClientRect(), откидывай все с нулевыми размерами (они невидимые), и строй карту относительного положения элементов, тогда сможешь делать поиск вида - элемент справа от элемента, текст которого содержит 'Бла бла бла'.

upd. мир никогда не станет прежним, тупо скопировал свой текст и получил готовый код

bing chatgpt

осторожно, код не проверял но основная идея понята верно! на вскидку есть ряд мелких ошибок типа определения невидимого элемента нужно ставить ||

function buildMap() {
  let elements = document.querySelectorAll('*');
  let map = {};
  for (let element of elements) {
    let rect = element.getBoundingClientRect();
    if (rect.width === 0 && rect.height === 0) continue;
    let text = element.textContent.trim();
    if (!text) continue;
    map[text] = {rect: rect, element: element};
  }
  return map;
}

function findElement(map, referenceText, position) {
  let reference = map[referenceText];
  if (!reference) return null;
  for (let text in map) {
    if (text === referenceText) continue;
    let rect = map[text].rect;
    switch(position) {
      case 'right':
        if (rect.left >= reference.rect.right) return map[text].element;
        break;
      // добавьте другие позиции здесь
    }
  }
  return null;
}

let map = buildMap();
let element = findElement(map, 'Бла бла бла', 'right');

[SmileRex]

rPman, это действительно начинает пугать )