Ошибка 403 при парсинге?

Question

[Vlad Osadchyi]

Никак не получается получить данные с этого сайта sofifa.com

Пробовал через cURL и через file_get_contents(), выдает ошибку 403

Ваши предположения, почему не работает?

Код

function parse ($url)
	{
		$curl = curl_init();
		curl_setopt($curl, CURLOPT_URL, $url);
		curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
		$result = curl_exec($curl);
		return $result;
	}
	echo parse('https://sofifa.com/');

echo file_get_contents('https://sofifa.com/');

Answer 1

[Дмитрий]

Доброе утро.

function parse ($url)
  {
    $curl = curl_init();
    curl_setopt($curl, CURLOPT_URL, $url);
    curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36");
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
    $result = curl_exec($curl);
    return $result;
  }
  echo parse('https://sofifa.com/');

На выходе таблица

Comments

[Vlad Osadchyi]

спасибо огромное

[Дмитрий]

Vlad Osadchy, не за что.

Answer 2

[Иван Шумов]

403 Access Denied если точнее. Ресурс защищен от парсинга и не удивлюсь если далеко не одним способом. Успехов в изучении, но, думаю что разработчики и сисадмины ресурса там поработали на славу

Comments

[Lander]

Любая защита от парсинга обходится. :) В данном случае, как написал slo_nik не хватает поля User-Agent.

[Дмитрий]

Lander, да много чего не хватает. После добавления User-Agent-a получил страницу сайта. Хотя, думаю, надо и другие заголовки добавить. Но это надо смотреть, какие отправляются и какие принимаются в консоли браузера.

[Иван Шумов]

Lander, любая, просто стоит это по-разному. Помню как мы в свое время закупали огромное число прокси и занимались эмуляцией фактического присутствия человека на сайте. Больше так развлекаться не интересно

[Vlad Osadchyi]

спасибо за ответ

[Иван Шумов]

Vlad Osadchy, всегда пожалуйста)

[Антон]

Иван Шумов, Не для накрутки ли поведенческих?

[Lander]

Антон, Думаю для накрутки поведенческих факторов просто проксей не достаточно. Там Silenium нужен, чтобы ещё и js обрабатывал. Это же всё идёт через вебвизор, насколько я понимаю.

[Антон]

Lander, Ну так то да, все таки и действия какие-то происходить должны.

[Иван Шумов]

Антон, оно самое. Как Lander сказал ниже и Selenium туда-же и еще много чего интересного было

[Антон]

Иван Шумов, Вот я как раз почему и написал, ожидаемый эффект от сих действий был в пользу роста сео показателей, или в банан улетели?)

[Иван Шумов]

Антон, это был лихой 2007, мы развлекались как могли. Вообще работало, но, увы, скорость развития системы не покрывала рост систем безопасности. Пришлось отказать заказчику, но полгода эта схема жила. Никто не банил

[Антон]

Иван Шумов, аа, аж 7ой год, ну тогда да, было не паханное поле для экспериментов) Спасибо!)