Как спарсить сайт на php?

Question

[Orbite]

Добрый день!

Я пытаюсь получить html контент со страницы с помощью функции file_get_contents. С некоторых сайтов без проблем получаю с контент, но с некоторых получаю ошибку Warning: file_get_contents failed to open stream: HTTP request failed!. В чем может быть причина?

Answer 1

[alex-1917]

file_get_contents

этот код порос былью и покрылся плесенью.

юзай curl,если не хочешь получать баны от админов парсируемых тобою сайтов.

Comments

[Кирилл Несмеянов]

К слову, а чем он лучше, если file_get_contents, а точнее протокол http оного - это стрим на тот же самый курл, который тюнингуется через stream_context_create, передаваемый во второй, если не путаю, аргумент функции file_get_contents?

[Евгений]

Кирилл Несмеянов, он лучше тем, что можно указать прокси

[Кирилл Несмеянов]

Евгений, а, ну т.е. у file_get_contents нельзя, да?

file_get_contents('гугол.ком', false, stream_context_create([
    'http' => [
        'proxy' => 'tcp://192.168.0.2:3128',
    ],
]));

[alex-1917]

Кирилл Несмеянов, много умных слов, но еще есть суровая реальность.
и даже приведу свежий пример - успешно работающее приложение последние два года стало сбоить. выкинули file_get_contents. заменив на курл - опять шоколад. кратко - авторизация скрипта в социальных больничках (ВК, ОК, итд) с последующими некими действиями в оных.

[Кирилл Несмеянов]

alex-1917, то что у вас там что-то не работает - это не значит, что проблема в file_get_contents. В нормальном мире обычно вообще используется guzzle или какой-нибудь amp/artax, а не curl. Но это опять же не значит что file_get_contents плохой.

Answer 2

[Vlad Osadchyi]

code.mu/books/advanced/php/parsing/rabota-s-biblio...