Почему Selenium не находит элемент?

Question

[Jomm]

Я пытаюсь пропарсить сайт который прогружается частями. На сайте мне нужно просто достать текст из элемента но selenium и requests его не видят. Selenium выдает IndexError: list assignment index out of range а requests показывает что не только этого элемента нет но и других. При этом я могу его достать ручками через dev tools. Я добавил driver.implicitly_wait(10) думая что элемeнт просто не успевает появиться и эта строка поможет но она не помагает. У меня теперь депрессия. От чего это может быть и какие могут быть решения? Зарание спасибо

Comments

[сергей кузьмин]

что вы всё намёками да намёками
покажите код которй вы уже сделали и страницу где не находит
или вы ищете помощи в борьбе с депрессией ?

[Модератор]

Вопрос необходимо конкретизировать и дополнить, также надо привести название вопроса в соответствие правилам, п.3.6.

[Денис]

Может скинешь сайт, который пытаешь спарсить и элемент, который не получается найти?

Answer 1

[Сергей Горностаев]

Сайт может определять, что его парсят и не выводить нужные данные.

Comments

[Jomm]

Спасибо за ответ но мне бы хотелось еще кое-что уточнить. Можно ли как-то сделать так что бы сайт не мог определить что его парсят?

[Сергей Горностаев]

Jomm, придётся определить как он это определяет и разработать контр-алгоритм. Каждый из пунктов потенциально очень сложен. Особенно, если у сайта поведенческий фильтр.