Как лучше парсить сайты?

Question

[romaaa32]

1) Использовать CURL, или есть что-то получше?
2) После получения страницы сайта (например через CURL) сразу брать с нее нужные данные или записывать в файл страницу, а потом парсить его. В плане экономии оперативной памяти различия есть?
3) Использовать регулярки или например PHP Simple HTML DOM Parser? И если последнее то какие + его использования? Данных с каждой страницы парсить не много и скорость выполнения особо не нужна.. Потребление оперативной памяти интнресует.

Comments

[edward_freedom]

так у тебя выбор то один курл и все

[Максим Бабичев]

Регулярки лучше не использовать, потом устанешь поддерживать.
Я бы советовал использовать библиотеки: advanced-html-dom, simple-html-dom-parser

[DevMan]

edward_freedom, огня ... требует жопа твоя!

Answer 1

[Максим Осадчий]

1) Я использую Guzzle, там внутри тот же курл, но в удобной обертке.
2) Я вначале сохраняю ссылки в файл, потом по ним прохожу, если страниц немного и они не тяжелые - не сохраняю.
3) Регулярки использую только в случаях, когда простыми методами библиотек данные не могу достать, например на сайтах с табличной версткой без классов и идентификаторов, использую библиотеку phpquery, она побыстрее указанной вами.

Comments

[xmoonlight]

Максим Осадчий, а js guzzle - тянет или нет?

[DevMan]

xmoonlight, нет, это просто удобный врапер для curl'a.

[xmoonlight]

DevMan, ясно. я посмотрел документацию - думал, что просто пропустил...

Answer 2

[xmoonlight]

nightmare (headless browser library)

Answer 3

[AleksandraSoy]

Я просто подписана на сервис, который собирает мне данные любой сложности с любых источников. Тем, кому часто нужно парсить данные, советую. Хотя разовое использование там вроде тоже есть. https://sssoydoff.wixsite.com/scraper