Нужно ли знать JS для парсинга?

Question

[warnerbrowsers]

Всем привет! Вопрос такой для расширения кругозора. При парсинге сайтов ( на PHP, Python, Ruby, etc), на которых много JS и AJAX, используются headless-браузеры, Selenium и т.д. Нужно ли при этом изучать сам JS, чтобы лучше понимать, что происходит внутри или достаточно рассматривать данный инструментарий как "чёрный ящик"?

Answer 1

[Rou1997]

Нужно, и тем более, если используются headless-браузеры, а не HTTP.
Ну, вот скажите: как вы решите стандартную проблему, вот загружается страница, потом выполняется AJAX и только после этого появляется нужный элемент в DOM, стало быть стандартное событие типа OnDocumentCompleteи т.п. здесь бесполезно, потому что когда оно "зажжется", то элемента еще не будет?
Хотя, само знание DOM, это уже знание JS.

Comments

[warnerbrowsers]

Спасибо за ответ. Чем дальше в web, тем больше JavaSсript'а.

[Rou1997]

warnerbrowsers: Вообще-то данная проблема решается алгоритмически:

while (элемента_еще_нет) {
  sleep(10);
}

Но и другой вариант, Mutation events, тоже имеет право на жизнь, а вот от "черных ящиков" лучше избавить свой мозг.