PHP или NodeJS использовать для парсера?

Question

[misc1]

Какой ЯП использовать для парсера? Главный критерий - парсер должен быть быстрым. В основном парсится JSON, XML (RSS+Atom), Twitter (через API) и HTML (но не стоит забывать и про частые HTTP-запросы и про запросы в БД).
Что касается библиотек, для NodeJS подразумеваются:

1. HTML - cheerio
   
2. RSS+Atom - node-feedparser или node-parse-rss
   
3. JSON - JSON.parse()
   
4. Twitter - twit или node-twitter
   

Для PHP:

1. HTML - Simple HTML DOM (в том числе PSR-7 реализации: php-simple-html-dom-parser и php-html-parser)
   
2. RSS+Atom - rss-php
   
3. JSON - json_decode()
   
4. Twitter - twitter-api-php
   

Если вы можете предложить свои более производительные и т.п. библиотеки или порекомендовать какую-то библиотеку из "или" - пишите

Answer 1

[xmoonlight]

PHP7+curl_multi_init

Comments

[misc1]

Спасибо за ответ. А чем вызвано использование именно этой связки, а, например, не библиотек, приведенных в вопросе?

[xmoonlight]

misc1: парсить можете чем хотите: XPath или вообще Regex preg_match() и т.д. А это - только лишь "затянуть" контент: просто PHP7 быстрее обычного PHP и даже Pyphon3 в 2 раза. Понимаете?)

[misc1]

xmoonlight: да, про то, что PHP7 быстрее PHP5 и Python3 слышал). Думаете, в этом случае он будет побыстрее ноды? Просто сравнения PHP7 с нодой не видел.

[misc1]

xmoonlight: и ещё, почему curl_multi_init?). Может лучше guzzle?

[xmoonlight]

misc1: зачем Вам лишняя прослойка, которая делает тоже самое?!) чтобы уменьшить производительность?)) Только встроенный Multi-CURL!

[xmoonlight]

misc1: что php7 будет быстрее ноды - это точно, плюс еще у ноды есть "утечки" памяти при большом количестве запросов...

[misc1]

xmoonlight: хорошо, спасибо :).

[napa3um]

xmoonlight: какие-то глупые суеверия.

[xmoonlight]

OnYourLips: Время на кодирование используя curl гораздо меньше, т.к. там пара параметров описанных в документации на php.net. А вот в чужой либе нужно разобраться что к чему, и потом она же повторяет тот же функционал и используется как прослойка.

А вот тут - вообще не понятно:
"Без разницы, обе технологии подходят для задачи."
"Кстати говоря, оба инструмента ужасны для такой задачи."

Тогда скажите же нам: что же подходит для этой задачи более, чем идеально?

[xmoonlight]

OnYourLips: в общем понятно: "Использование чужого кода на порядки повышает вашу продуктивность и делает проект поддерживаемым."
Всё понятно...

[xmoonlight]

misc1: я поясню, что хочет сказать OnYourLips (он как раз фрилансит)
Следующие фразы:

1. "Потому что у него, в отличие от вас, время стоит денег."
2. "Использование чужого кода на порядки повышает вашу продуктивность и делает проект поддерживаемым."

ведут на подсадку Клиента на договор ТП или устранение проблем за доп. средства. Однажды внедрив такой код, Клиент постоянно будет обращаться за помощью к тому кто его внедрил или автору этого кода или тратить уйму времени на поиск и устранение ошибок самостоятельно.
Или, что еще хуже, переписывал бы всё с нуля.

misc1 , если Вам это нужно (или я в чем-то ошибаюсь) - можете меня не слушать.

Моё мнение: делайте всё на чистом PHP7 и своими руками, чтобы ни от кого не быть зависимым и знать, что всё, что написано - это уже 100% Ваш продукт и автор этого продукта - Вы.
Вот и весь RIGHTWAY!

[misc1]

Хорошо, приму во внимание все ваши комментарии

[Light Air]

xmoonlight:
> Делайте всё на чистом PHP7 и своими руками
Можно очень неплохо накостылить, очень неплохо.

> чтобы ни от кого не быть зависимым
А от разрабов PHP, linux, сопутствующего софта и библиотек не страшно быть зависымым?

> и знать, что всё, что написано - это уже 100% Ваш продукт и автор этого продукта - Вы.
Разница какая? Есть MIT.

> ведут на подсадку Клиента на договор ТП или устранение проблем за доп. средства. Однажды внедрив такой код, Клиент постоянно будет обращаться за помощью к тому кто его внедрил или автору этого кода или тратить уйму времени на поиск и устранение ошибок самостоятельно.
Или, что еще хуже, переписывал бы всё с нуля.

Т.е. костылить и велосипедить это нормально? Приходит другой человек в проект, и диву даётся как тут всё криво и ничего не понятно. А вот в случае использования либ и фреймов есть документация, куча пофикшеных багов, и ответов на Тостере.

Судя по твоему блогу ты ярый сторонник велосипедостроения. Почему на asm ось для себя не напишешь?

[xmoonlight]

Light Air: про asm - зачотный прикол! Есть *nix с OpenSource кодом и драйверами)
"Можно очень неплохо накостылить, очень неплохо." - можно, однако можно накостылить и во фреймворке в текущей или следующей версии.
А при его обновлении - вообще лишиться поддержки.

[Light Air]

xmoonlight: Накостылить можно везде, но на фрейме их будет меньше. Что бы не лишиться поддержки есть LTS, ну и не стоит забывать про время жизни ПО, года 3 и выйдет PHP 125.

[xmoonlight]

Light Air: это всё верно, но конкретно в этой задаче - лучше обойтись БЕЗ фреймворков. Т.к. здесь логика "плоская" (без вложенности).

[Light Air]

xmoonlight: согласен. Хотя я бы точно придерживался PSR-4, воткнул самописные воркер с очередями на Redis и запуском по supervisor, плюс паук на чём душа желает.

[xmoonlight]

Light Air: вот тут полностью согласен!

Answer 2

[Ivan Zmerzlyi]

Для парсера я бы выбрал Go lang.
То как быстро вы получите ответ из HTTP запроса зависит от сервера который будет отдавать страницу. То есть с вашей стороны язык в этом вам не поможет.
По поводу же обработки ответа или же возможности обработки одновременно нескольких ответов тут уже есть разница.

Answer 3

[Валентин]

Я бы предложил использовать nodejs, мне кажется, проще будет нагрузку регулировать, хотя, с прямыми руками без разницы))

Answer 4

[Emil Revencu]

Попробуй PYTHON (LXML + REQUESTS)

Смотри бенчмарк

Answer 5

[Павел Малышев]

Я бы выбрал Python. Как-то исторически уложилось, что для каких задач его используют нас.

Answer 6

[Артем Штепенко]

Nodejs будет быстрее если вы умеете на нем писать, потому что во первых без браузерного DOM js очень быстрый (если правильно писать), и можно использовать модули написанные на С++ ,к примеру для парсинга XML https://github.com/astro/node-expat

Answer 7

[deadmemoras]

Вот вы представьте:
У Вас есть блог написанный на java(используя фреймворк конечно) и вы внедряете какой-то простенький функционал на php.
Вот у Вас аналогично.
Оба языка подходят отлично, если вы пишите чисто парсер (больше ничего не будет) - можете и не читать мой комментарий)

Comments

[misc1]

Не совсем понял пример). Что в нем плохого, если, например, PHP справится с этим лучше Java?

[deadmemoras]

misc1: зачем нужна эта неразбериха?) У тебя есть проект, в нем использовано 3 разных языка, при этом, один интерпретируемый , а у двух остальных библиотеки. Неужели это классно?)

[misc1]

deadmemoras: ну, я не думаю, что это критично :). Тот "блог", который я пишу, использует концепцию микросервисов. Но, в общем, пусть будет PHP7.

Answer 8

[Light Air]

Я бы лучше делал на PHP. На сколько я знаю у ноды проблемы с mysql.
Но c оговоркой, я бы делал back часть на PHP.

Comments

[Валентин]

Какая у ноды проблема с mysql?

[Light Air]

Валентин: раньше были проблемы с производительностью. Как дела обстоят на текущий момент не в курсе.