Как спарсить ozon средствами PHP?

Question

[Андрей Провоторов]

Всем привет. Стоит задача реализовать консольное приложение на PHP для парсинга маркетплейсов для ведения статистики. Проблема возникает с ozon, при file_get_contents - возникает cloudflare, соответственно с curl тоже пробовал, втыкается в него же. Находил библиотеки под PHP, но я так понял, что они устарели (2020гг). Есть ли какое-нибудь рабочее решение на сегодняшний день. (Без selenium WebDriver разумеется, ведь основное требование - запуск на сервере, где selenium не отработает)

Comments

[galliard]

Dr. Bacon, для автора похоже сервер - это отдельный тип компьютеров)

[Ичи Ня]

Мне нужны были json файлы с определенного сайта. Там тоже было закрыто. При чем открываешь в браузере - json открывает нормально. Так что написал небольшой скрипт на python, который открывает через селениум в виртульном окне браузер грузит страницу и результат кладет в базу.. Я же уже на php работаю с этой базой.

Изначально скрипт работал на самом дешевом vds, но там было место мало. Сейчас крутится на 1x2Gh, 500M, 10G, который стоит 150-300 рублей в месяц

[ThunderCat]

ведь основное требование - запуск на сервере, где selenium не отработает)

Оу, рили?

[Андрей Провоторов]

Был уже такой опыт. Целую кучу зависимостей надо вытянуть, и бывает такое, что это не просто последовательная установка, а периодически выкидывает разную ошибку на каждой установке. Приятного мало, а в текущей ситуации, нужен модуль на PHP, который без танцев с бубном на сервер ляжет.

Answer 1

[Dimonchik]

гугли обход CF
увы, одна из техник там - JS движок на ноде, не Селениум, но тоже емкий

но есть и другие, через CF аккаунт, к примеру и т.п.

Answer 2

[Александр Алексеев]

Можно попытаться использовать безголовый Chrome

Comments

[Ичи Ня]

Единственный минус - это хром. У меня может висеть до 800 потоков от хрома, так как он любит оставлять кучу процессов в работе при закрытии браузера и драйвера. Да и подбор кучи параметров, чтобы он корректно работал и отслеживалось закрытие. Но это проблемы на слабых машинах, на более мощных он работает стабильнее. Сейчас смотрю в сторону Docker, чтобы запускать хром изолированно, а то он везьде лезет и может занимать до 8Гигов места на диске

Answer 3

[Игорь]

на php это вряд-ли ...
puppeteer

Answer 4

[Ичи Ня]

Могу посоветовать попробовать пакет spatie/crawler, который используется для обхода ссылок на сайте. Сам Spatie его использует для составления карты сайты через парсинг сайта. Если правильно помню, он работает через js (так как можно ему отправлять js код на выполнение).

Когда пытался спарсить некоторые данные с определенного сайта, тоже столкнулся с проблемой - там сайт грузится постфактум через js с проверкой, что это человек. Я использую Python-Selenium-WebDriver. А на этот пакет наткнулся уже позже и не проверял его.

Answer 5

[Андрей Провоторов]

Всем спасибо за ответы. Нашел решение. Есть сервис для удаленного запуска chrome. (Что позволяет запускать приложение с webdriver на машине без графической оболочки без танцев с бубном и вытягиванием кучи зависимостей, сам не пробовал, но есть проверенная информация, что это так работает).