На чем писать парсер сайтов? на PHP или Ruby?

Question

[Alexv01]

На чем писать парсер сайтов?
PHP знаю хорошо
Ruby вообще не знаю :)
Парсер должен быть многопоточным и быстро работать)
вот думаю ради такого нужно выучить ruby
или хватит PHP?

Answer 1

[webus]

Нормальные люди не ищут себе приключений, берут scrapy и python и получают многопоточный парсер из коробки.

Answer 2

[TekVanDo]

на NodeJs - slimerjs.org, habrahabr.ru/post/247847

Comments

[Alexv01]

Он нормально спарсит сайт в 200к-500к страниц и будет парсить каждое утро в 9-00?

[TekVanDo]

ну явно в nodeJs многопоточность сделана лучше чем в php..

Answer 3

[АртемЪ]

На чем писать парсер сайтов?

- на чем умеете.
Выучить руби оно конечно можно, но не ради написания парсера, к тому же парсер написать на руби ничуть не легче чем на пэхапе.

в пыхе есть нормальная многопоточность?

- той которая есть для парсера хватит с лихвой.

Он нормально спарсит сайт в 200к-500к страниц и будет парсить каждое утро в 9-00

Это вообще не зависит от языка написания парсера. Зависит от того что за сайт будете парсить в первую очередь, как часто вас банить будут, как качественно парсер написан, хорошие ли прокси сервера используете, и.т.п

Comments

[Андрей]

Согласен полностью.

Answer 4

[Eugene Burmakin]

На том, что лучше знаете. Знаете пхп - пишите на нем. Если хочется по пути освоиться в руби, пишите на Руби. Возможности языков для этой цели практически не отличаются.

Answer 5

[Сергей]

Вообще php, тем более многопоточно, будет очень долго работать.
Я бы писал это вообще под десктоп на чем-то, а не на пыхе.
Но на всякий случай вброшу ссылку, существенно облегчающую жизнь
simplehtmldom.sourceforge.net

Comments

[Alexv01]

Десктоп точно не будем делать, так как будет сервис

Answer 6

[Crash]

Пожалуй хватит Пыха

Comments

[Alexv01]

в пыхе есть нормальная многопоточность?

Answer 7

[Евгений Калибров]

По моему особой разницы тут нет на чем писать, поэтому советую писать на том, что более лежит к душе.
Для многопоточных запросов в php, можно использовать библиотеку curl, и функцию curl_multi_exec. Думаю в ruby можно ей же пользоваться.

Answer 8

[Сергей Иванов]

Я давно писал парсер следующим образом. bash + curl , распарсивал его тем же башем и получал необходимый кусок. Далее передавал через консоль в php скрипт. Работало очень быстро и на больших объемах.

Сейчас я бы с радостью попробовал что-то готовое.

Comments

[Alexv01]

Writerim а почему такой способ решил выбрать?

[Сергей Иванов]

Alexv01: потому что php плохо знал, а bash более менее уверено)

Answer 9

[asd111]

Java + jsoup. Если сайт формируется через JS то Selenium вместо jsoup.
Многопоточность в Java легко сделать. После PHP на Java легко писать.

Thread t = new Thread(new Runnable() {
    @Override
    public void run() { 
        parse();
        }
    });
t.start();

Comments

[Alexv01]

после пхп легко писать на яве?

Answer 10

[Chups23]

Добрый день, парсеры можно писать буквально на всех языках, но для парсеров есть отдельные языки которые подходят для этого! Из этих ЯПОВ я посоветую: '1. Python 2. PHP, 3. Javascript , 4. Ruby, 5. Java and .Net'
Можешь выбирать любой из этих вариантов!