Если у тебя не стоит задача исполнять javascript (т.е. считать что все ссылки на сайте доступны без его включения) то рекомендую воспользоваться готовыми инструментами, например wget умеет делать полную копию сайта с указанным уровнем вложенности.
Ну скачивать сайт мне не к чему или я чего-то не понимаю. Я ж могу сам прописать проход по всем ссылкам страницы и это будет быстрее чем скачивать сайт.
Если стоит задача обрабатывать javascript то у тебя проблемы, никаких других универсальных способов, кроме как открывать сайт в браузере - нет, но можно взять старые версии webkit (версии, выпущенные лет 5-10 назад), на их основе мини браузер для анализа сайта будет потреблять очень мало оперативной памяти, а значит на одной машине таких скраперов может быть запущено сотнями, понятно что не все сайты смогут так работать, но процент достаточно высокий.
Спасибо, это обязательно учту при разработке.
Так же можно попытаться разработать алгоритмы по определению, требует ли сайт полноценный браузер или ему хватит обычного wget и его аналогов. Что то можно вытащить, определив движок, на котором сайт написан, 90% интернета используют готовые фреймворки, у многих из них свои способы, где то можно попытаться вытащить карту сайта из кода, не выполняя его... стоит ли такая работа экономии на процессорах, хз
Как можно определить нужен ли сайту полноценный браузер или нет?
Vindicar, Делал замеры только всего кода, чуть позже сделаю и добавлю замеры частей кода. На счет слабых мест, после замеров будет точно понятно слабое место, но я уверен что есть что подтянуть и улучшить в каждом аспекте кода, из за этого я расписывал вес свой код
Вы правы, просто у меня получилось подключить только эмулятор с android studio к appium server`у, я перепроверил еще раз и нашел где я допустил ошибку. Спасибо за ваш ответ буду теперь использовать более хорошие эмуляторы
Вы правы, просто у меня получилось подключить только эмулятор с android studio к appium server`у, я перепроверил еще раз и нашел где я допустил ошибку. Спасибо за ваш ответ буду теперь использовать более хорошие эмуляторы
сергей кузьмин, через options агент не меняется в undetected_chromedriver, статью которую вы кинули я видел, но там предлагается альтернатива undetected_chromedriver`а как я понимаю
сергей кузьмин, Окей, можете еще подсказать. Мне нужно перейти по ссылке на странице, как разрешить в селениум переход по ссылке?, при каждом нажатии на ссылку выскакивает уведомление в котором проситься разрешить переход
сергей кузьмин, Я сколько не пробовал пользоваться ожиданием от selenium оно не корректно работает, поэтому я всегда использую time.sleep(). Если вы можете, напишите пример как использовать ожидания
Но есть проблема, не всегда успевает показаться скрытая информация, мне нужно парсить большое количество информации, максимум какую задержку я ставил это было 0.2c с такой задержкой иногда не успевает
Ну скачивать сайт мне не к чему или я чего-то не понимаю. Я ж могу сам прописать проход по всем ссылкам страницы и это будет быстрее чем скачивать сайт.
Спасибо, это обязательно учту при разработке.
Как можно определить нужен ли сайту полноценный браузер или нет?