Как парсить json с чужого сервера?

Question

[# a r t u r #]

Здравствуйте!

как парсить? На js не получается, ругается на Access-Control-Allow-Origin, через iframe тоже не выходит, сайт не отображается во фрейме.

Comments

[OVK2015]

php'ый curl или fsocket в помощь

[# a r t u r #]

OVK2015: Пробовал через cURL, получаю ошибку Unknown SSL protocol error in connection to ru.leonbets.pw:443

[OVK2015]

# a r t u r #: curl возвращает html страницу с cookies и просьбой их включить,- что логично. Соответственно, одним проходом стянуть не выйдет.

[# a r t u r #]

OVK2015: на самом деле мне нужно стягивать каждые 10-15 секунд

[OVK2015]

# a r t u r #: Ставки дело такое. Дважды запрос выполнять нужно. Первым получить html, вытащить из него куки. Вторым эти куки показать серверу. Мне разбираться не охота. Хотя, в браузуре он редирект делает 2 раза. Может еще какую ерунду подтягивает.

Answer 1

[PrAw]

Просто по запросу ссылки отдаётся html страница, в ней JS код, который проверяет наличие куки c нужным именем и IP адресом, если нету - устанавливает её и перезагружает страницу
Фрагмент установки: setCookie('Y...6', '1.2.3.4', 10);

Для того, чтобы выяснить минимальный набор заголовков, который надо передавать - используйте Chrome, инструменты разработчика, вкладка Network, правым кликом на запросе - "Copy as Curl (cmd)".

Для тестирования скачать curl for windows, крутить запрошенный текст в командной строке, по одному убирая параметры -H

Еще будет полезен ключик -k, чтобы не ругалось на сертификаты:
curl -k "https://...." .....

Когда удалось вполне разумно руками получать результат, пишите то же самое на PHP. PHP cURL справляется на ура.

Соответственно вся логика - запрашивается страница с нужными заголовками, если отдали html, то проанализировать значение куки, поправить в запросе и переслать заново. Для совсем первого запроса запрашивать без куки, для следующих - сохранять.

Comments

[# a r t u r #]

Получилось после того как задал явно заголовки, но получаю ответ в виде множества квакозябр, что-то с кодировкой... iconv не помог, видать на стороне сервера сжатие работает

[PrAw]

мне с виду обычный utf-8 летел. Ключик в строку добавить "curl -O", чтобы в файл сохранялось, там уже разбираться.

Answer 2

[Алексей]

Загрузить при помощи php и распарсить или отдать своему скрипту.

Comments

[# a r t u r #]

Как?

[Алексей]

www.php.su/file_get_contents

<?php

  echo(file_get_contents('https://ru.leonbets.pw/rest/sportsbook/event/listWithMarkets'));

?>

Кешировать данные по вкусу (чтобы не заблокировали за частые запросы).

[# a r t u r #]

Алексей: эммм... это пробовал в первую очередь, если ли бы все так просто было... страницы зависает, ответ можно ждать бесконечно... не могу понять почему такое происходит.

Пробовал через cURL, получаю ошибку Unknown SSL protocol error in connection to ru.leonbets.pw:443

[Алексей]

Хм.
У меня не зависает (file_get_contents), но выдает html с javascript кодом, видимо для защиты от таких как вы.
Его, видимо, надо распарсить, вытащить оттуда имя и значение куки и сделать запрос с куками.

[# a r t u r #]

Алексей: никогда с парсингом не связывался, от этого и сложности

Answer 3

[X-NoNAME]

Есть еще вариант с proxy_pass

UPD: Если у вас сервер nginx, то вот пример настройки:

server{
    listen 9292;
    server_name foo.example.com;
    location / {
        add_header Access-Control-Allow-Origin *;
        proxy_pass http://api.apiserver.ru;
    }
}

Далее делаете запрос не на api.apiserver.ru/any_request.php?a=1&b=2
а на http://ваш_сервер:9292/any_request.php?a=1&b=2

Answer 4

[Bowen]

Попробуйте так:

$.ajax({
     url: "http://othersize.ru/testserver.php",
     dataType: 'jsonp', 
     success: function(json){
         console.log(json);
     }
});

P.S. Сам лично не пробовал, не приходилось еще.