Как эффективно парсить страницы?

Question

[hesy]

Есть база ссылок около 100к одного сайта, задача: по каждой ссылке спарсить текст между определенными тегами.

Вопрос, как это лучше реализовать?
Подойдет для этой задачи php или лучше использовать python?

Answer 1

[Evgen]

Рекомендую использовать фреймворк для парсинга scrapy на python

Comments

[hesy]

Полезно, спасибо!

Answer 2

[maksam07]

Могу посоветовать 2 библиотеки:
rmccue/requests - для парсинга самой страницы
paquettg/php-html-parser - для разбора html кода

На счет производительности не знаю, но этот вариант лично мне удобен и я им пользуюсь на данный момент\

Совет: если будете парсить страницы в цикле, то всегда вконце цикла очищайте переменную, которой присваиваете запрос, типа:

while(1){
    $request = Requests::get( $url, $headers, $options );
    ...
    unset( $request );
}

Comments

[hesy]

Благодарю за совет!

Answer 3

[hesy]

Эффективным оказался способ на Python в простой связке requests+bs4.

Answer 4

[Дмитрий]

Да хоть BrainFuck, что лучше знаешь на том и пиши

Answer 5

[max3wq]

Из готовых могу посоветовать Content Downloader