Подходит ли PHP для парсинга сайтов, достаточно ли его возможностей чтоб удовлетворить большинство заказчиков на фрилансе?

Question

[Pantene742]

- Возможно ли парсить на php с авторизацией и куками ?

- Динамические страницы(сайты) вроде как можно парсить просто запросами к Rest API. я правильно понимаю ? использовать selenium для этого считаю неплохим но костылем.

- Я понимаю что Python с паралелизмом и библиотекой Pandas просто единственный адекватный инструмент для анализа большого количества отпарсенных данных. НО ВОПРОС СЛЕДУЮЩИЙ--- -> Какие заказы чаще встречаються на фрилансе ? Для большинства необходимо мощности Python, или хватит PHP.

Answer 1

[T_y_l_e_r]

Еще как подходит
Так же поддерживает многопоточность в CUrl
Кукисы и все прочее
Запускать нужно как консольное приложение
Из инструментов есть всякие эмуляторы браузеров
А либа dom поможет распарсить по дум элементам
А screen в линукс позволит запустить несколько парсеров
В общем изучайте
База городов вк выкачалась за неделю в 100 потоков и проверкой на ошиби при скачивании
аптайм не 100% оказался

Comments

[Roman]

T_y_l_e_r что из себя представляет база городов в вк?

[T_y_l_e_r]

Roman копия страницы поиска, там где выбор страна, город, учебные заведения и т.д.

[AlexRolor]

T_y_l_e_r: "Из инструментов есть всякие эмуляторы браузеров" - могли бы пояснить что есть по эмуляции, так как с ней и есть проблемы блокировки обычного скрипта.

Answer 2

[Александр Аксентьев]

Какие заказы чаще встречаються на фрилансе ?

Если заказчику нужно что-то спарсить без дальнейшего использования парсера - ему вообще пофиг хоть руками собирай.

Если он будет это потом использовать - то проще php т.к. работает повсеместно в два клика, а хостинг для python еще надо поискать либо настроить vps.

Comments

[Pantene742]

Хорошо если бы просили данные а не скрипт. насколько знаю что хотят парсер+анализ(мониторинг просчет визуализация)

[Александр Аксентьев]

Pantene742: по разному бывает. Но чаще конечно скрипт для постоянной работы

Answer 3

[hOtRush]

Из личного опыта парсинга скажу что пхп обычно хватает, но если важна скорость и меньшая ресурсоемкость - лучше использовать какой-нибудь golang или python. Ну а с nodejs можно вообще разориться на железе

Comments

[T_y_l_e_r]

откуда такие мысли?
если сравнить производительность языков то php лидирует

[hOtRush]

T_y_l_e_r: первый раз в жизни мне говорят, что php быстрее go и питона) хотя бы то, что php, как и nodejs - однопоточны

[PQR]

> если важна скорость и меньшая ресурсоемкость - лучше использовать какой-нибудь golang или python

Про golang согласен - он менее ресурсоёмкий, чем PHP и для парсинга сайтов однажды его использовал, в целом удобно, быстро, надёжно.

Про Python не согласен - он более ресурсоёмкий, чем PHP. Выбор Python vs PHP зависит от того, что вы на данный момент умеете/любите. Менять одно на другое (PHP <-> Python) нет смысла.

[Pantene742]

PQR: Для того чтоб почувствовать ресурсоемкость интерпритатора надо чтоб http сервер который парситься был в локальной сети с минимальнейшим пингом, и скорость соединения более 1000 мегабит в секунду.

[Pantene742]

PQR: или же чтоб было запущенно более одного процеса парсинга на php. или же python парсил бы в 50 потоков. тогда может и возникнет проблема ресурсоемкости

Answer 4

[malbaron]

Любой универсально-развитый язык подходит.
Но для некоторых есть готовые крайне удобные библиотеки. Например, Scrapy для Python.
Наверное есть что то подобное и для PHP.

Для всех нет.
Сейчас много сайтов с Javascript, на голом PHP их не распразнить.
Нужно эмулировать браузер в чем то типа PhantomJS или т.п.
А эти штуки как правило управляются из языка JS.

Comments

[hOtRush]

сайты, которые с javascript типа SPA элементарно парсятся через их ajax/api, это еще проще чем парсить html странички)

[Pantene742]

да. frontend приложение написаное на JS общаеться с rest api сервером. Надо просто проследить как работает конкретный сервер. Если не удаеться тогда фантом или selenium+Mozilla

[malbaron]

hOtRush:

сайты, которые с javascript типа SPA элементарно парсятся через их ajax/api, это еще проще чем парсить html странички)

Для этого тебе придется реализовывать по недокументированному API этого сайта своего клиента для этого API.
;)

Нежелание учить JS и использовать подходящие инструменты (CasperJS, PhantomJS) сделает тебе очень много лишней работы.

[hOtRush]

malbaron: поверь, я быстрее напишу клиента для чужого апи, спаршу на одном сервере и забуду, чем тот же phantomJS будет на том же сервере педалить неделями. После моего опыта с phantomJS я его никому не рекомендую - глючный, медленный, прожорливый, как и весь javascript. Прошу прощения за категоричность.

[malbaron]

hOtRush:
боюсь что ты не прав.

любое категорическое утверждение, сказанное безотносительно вполне конкретной задачи - лажа и вымысел неквалифицированного джуна/студента.

опытный разработчик знает что не "из каждого правила бывают исключения", а скорее напротив "на исключениях и базируется окружающий нас мир ПО".

[Pantene742]

malbaron: API может быть такое что без инструкции которую давали frontend разработчику за неделю не разберешся. А за две сутки при помощи selenium+mozzila или Phantom можно было уже спарсить. Вообще если парсинг будет постоянним и достаточно большого сайта то стоит настроить парсера под API

[Алексей Сундуков]

hOtRush: "я быстрее напишу клиента для чужого апи, спаршу на одном сервере и забуду"
Значит не попадались сложные варианты парсинга с требование полной автоматизации процесса. Да, PhantomJS медленный, жрет много ресурсов (это же полный DOM). Только для части задач его выгоднее использовать (через webdriver+xpath) в контексте экономический целесообразности. Время программиста сейчас стоит дороже времени машины.
Для практики рекомендую напилить парсер для https://wordstat.yandex.ru/ который для заданного запроса снимает статистику и историю. Без headless напилив руками. И засеките время которое потребовалось на разработку. Картина мира должна немного измениться.

[hOtRush]

Алексей Сундуков: я согласен что для некоторых исключительных случаев PhantomJS - выход, но это лишь единичные исключительные случаи

[Pantene742]

hOtRush: это когда сайт не большой, парсить его надо не постоянно. разбираться с его АПИ через мониторинг пост запросов займет больше времени чем кликать и парсить через управление браузером фантом или Мозила + Селениум

[hOtRush]

Pantene742: согласен, я более масштабно мыслю

[malbaron]

hOtRush:

согласен, я более масштабно мыслю

нам нет преград,
а нам их и не надо?

[malbaron]

hOtRush:

я согласен что для некоторых исключительных случаев PhantomJS - выход, но это лишь единичные исключительные случаи

от задачи зависит.

если стоит задача сделать поисковую систему - на каждый сайт вручную кода не напишешь.
а пройти по ссылкам CasperJS вполне сможет и автоматически.

Answer 5

[Saboteur]

php и perl обычно более чем достаточно.
python полезен, если вы не знаете ни php ни perl, но знаете python.

И вообще, для парсинга достаточно любого языка, на котором вы можете написать парсер.

А для серьезных скоростей нужно не парсить а API.

Comments

[Pantene742]

Макс Минимус: можно но с данными иногда просят сделать очень сложные штуки. например за определенные периоды. (на недельки разбить таблицу) узнать по каким дням больше продаж. и проследить как меняеться максимальный день в течении года. и всякие такие сложные штуки. тут или запроссы в БД размером с 200 строк или pandas (библиотека python) а как правило с спарсенными данными надо делать што то такое. Поэтому Python лучший для данной задачи. Ноооо данная тема была создана для того чтоб узнать как есть спросс на то чтоб парсить возможностями php ну или node.js - в данном плане они примерно одинаковы.

[Saboteur]

Pantene742:
Не соглашусь по поводу лучший. Лучший это perl с его поддержкой работы с данными, с его массивами и хешами.

Питон удачно развился в последнее время на волне легкой интеграции, поскольку в наличии готовые библиотеки для разных энтерпрайз примочек типа jira/jenkins/etc.

Но суть ответа не меняется - для парсинга сайтов подойдет ЛЮБОЙ скриптовый язык, который автор уже знает. xml/html библиотеки вроде существуют уже под все.

Answer 6

[АртемЪ]

Подходит ли PHP для парсинга сайтов

Да.

достаточно ли его возможностей чтоб удовлетворить большинство заказчиков

Не всегда.

использовать selenium для этого считаю неплохим но костылем

А есть варианты как без костылей JS исполнять?

Comments

[malbaron]

А есть варианты как без костылей JS исполнять?

PhantomJS, CasperJS

[hOtRush]

malbaron: PhantomJS - тот еще редкостно глючный костыль

[Pantene742]

обходить исполнение js что делает js SPA он общаеться по http протоколу с rest сервером. именно это надо делать из php.

[Pantene742]

hOtRush: CasperJS обертка над фантомом которая помагает упростить работу и избежать глюков

[malbaron]

hOtRush:

PhantomJS - тот еще редкостно глючный костыль

А ты как хотел.
Без труда не вынешь и рыбку из пруда.

Answer 7

[Леонид]

а какая разница?
берешь phpQuery и парсишь в свое удовольствие