Какие есть современные методы парсинга сайтов?

Question

[RAMS_007]

Добрый день коллеги. подскажите что сейчас использует прогрессивное человечество для парсинга сайтов?
Уверен есть что-то поновее обычно CURL.
В частности столкнулся с проблемой парсинга такой страницы:
https://www.bloomberg.com/profiles/companies/00035...
испробовал :
CURL в командной строке,
CURL в php,
Guzzle (тот же курл но в красивой обёртке),
PhantomJS,
python requests,
python scrapy,
nightmareJs ( единственный кто первый раз показал страницу но потом снова не работал)

ничего из этого не помогло. каким-то образом сайт определяет парсеры и не отдаёт данные. Странно но обычный запрос через POSTMAN работает нормально.

Поделитесь опытом, или в таком случае только Селениум может справиться?

Comments

[sim3x]

В https://www.bloomberg.com/professional/support/api... нет требуемых данных?

[FulTupFul]

requests получаешь контент. Beautiful Soupом парсишь контент. Для spa selenium с js

[RAMS_007]

sim3x, посмотрю но тут даже принципиальный вопрос. есть и другие "сложные" сайты.. тот самый амазон например. сейчас его удаётся у меня только селениумом парсить.. но селениум очень громоздкий.

[planc]

RAMS_007,
проблема то в чем ?

httpie мне отдал контент например

может ты за натом и тебя на cloudflare кидает с картинкой "отметить все светофоры" ?

[sim3x]

RAMS_007, нет никакого "общего" подхода, который будет со всеми сайтами работать

Answer 1

[Dimonchik]

Scrapy + все что нужно от них же, в т.ч. для JS

Блумберг, если чо, чотенькие пацанчики и просто так сграбить себя не дают, но проксями впнами в разумных пределах запросто

Comments

[alex-1917]

а чо там у блумберга-то парсить? биржевые курсы??)))

[Dimonchik]

не, там есть инфа о компаниях, отрасли и проч, средневостребована на апворке